57-мм противотанковая пушка была создана вскоре после окончания Финской войны. Советское командование считало, что немцы, знающие о наличии в СССР тяжелых КВ, создадут свои тяжелые танки, и поэтому КБ под руководством Грабина было дано задание на разработку орудия более мощного, чем броня наших же танков. Необходимые показатели были достигнуты, но в начальный период войны у Вермахта не было танков, достойных снаряда ЗИС-2.

Производство орудий было возобновлено лишь с появлением на Восточном Фронте «Тигров» и «Пантер», и они во все возрастающем количестве начали поступать на вооружение противотанковых артиллерийских взводов стрелковых батальонов и в отдельные истребительно-противотанковые части РГК. Пушки ЗИС-2 использовались до конца Второй мировой войны и по праву считались одними из лучших противотанковых орудий.