В конце 1934 года были разработаны тактико-технические требования к танку массой 10 т, вооруженному 20-мм пушкой. Этот танк получил обозначение LaS 100. Его прототипы разрабатывались на конкурсных началах тремя фирмами: Крупп, Хеншель и МАН. В результате для серийного производства было выбрано шасси фирмы МАН. Первые серийные танки получили обозначение Pz.Kpfw.II Ausf.a1, следующие 15 машин – Ausf.a2. Танков версии а3 выпустили 75 единиц. Все эти варианты незначительно отличались друг от друга: на а2 и а3, например, отсутствовали резиновые бандажи поддерживающих катков. Самым крупным отличием от предшественников у танков следующей серии – Ausf.b – стала установка нового двигателя – Maybach HL 62TR.

Испытания и эксплуатация в войсках выявили у всех этих вариантов существенные недостатки в конструкции ходовой части. Поэтому, в 1937 году был сконструирован совершенно новый тип шасси. Впервые его применили на первых 200-х танках серии Ausf.C. Новая ходовая часть, состоявшая из пяти опорных катков среднего диаметра, подвешенных на четвертьэллиптических рессорах, повысила плавность хода по местности и скорость движения по шоссе и оставалась неизменной на всех последующих модификациях (кроме D и Е). В 1937 году на заводе Хеншель в Касселе началось производство наиболее массовых модификаций Pz.Kpfw.II – Ausf.A, B и С.

На танках Ausf.A были введены синхронизированная коробка передач, двигатель Maybach HL62TRM мощностью 140 л.с., новый тип смотрового прибора механика-водителя. Модель В имела изменения, носившие в основном технологический характер и облегчавшие серийное производство. Ausf.C получил улучшенную систему охлаждения двигателя и 50-мм бронестекла в смотровых приборах (у А и В – 12 мм). Производство Pz.Kpfw.II Ausf.C было прекращено весной 1940 года, однако недостаточное количество легких таков Pz35(t) и Pz38(t), а также средних Pz.Kpfw.III и IV в танковых соединениях вермахта послужило причиной принятия 27 ноября 1939 года решения о выпуске серии модифицированных танков Pz.Kpfw.II Ausf.F.

Танки этой серии получили корпус новой конструкции. Новой формы крышки смотровых окон в маске пушки усилили бронезащиту танка. На некоторых машинах устанавливалась новая 20-мм танковая пушка KwK 38, вместо KwK 30. Несколько особняком в семействе машин Pz.Kpfw.II стоят танки моделей D и Е. В 1938 году фирма Даймлер-Бенц разработала проект так называемого "быстрого танка", предназначенного для танковых батальонов легких дивизий. От танка Pz.Kpfw.II Ausf.C заимствовали только башню, а корпус и ходовая часть разрабатывались заново. Танки моделей Е отличались от D усиленной подвеской, новыми гусеницами и измененным типом ленивца.

Последней конструкцией серии Pz.Kpfw.II был вариант Ausf.L "Luchs" ("Рысь"), который имел совершенно новую ходовую часть с катками расположенными в шахматном порядке, более толстую броню и повышенные боевые возможности. Вооружение предусматривалось в двух вариантах: 20-мм и 50-мм пушка. Для последней была специально разработана открытая сверху башня, однако серийно производился лишь первый вариант.

Первую проверку боем Pz.Kpfw.II прошли в 1939 году в Испании. 15 марта 1939 года они первыми из 2-й танковой дивизии вермахта вступили в Прагу. 1 сентября 1939 года панзерваффе располагали 1224 танками Pz.Kpfw.II различных модификаций. В ходе польской кампании 83 из них были безвозвратно потеряны. В составе 40-го батальона особого назначения (40 Abteilung Z.B.V.) 25 Pz.Kpfw.II участвовали в оккупации Дании и Норвегии. Накануне вторжения во Францию в вермахте имелось 955 таких танков, которые могли бороться с хорошо забронированными легкими и средними французскими машинами только с близких дистанций. В ходе подготовки вторжения на Британские острова 52 единицы Pz.Kpfw.II были переоборудовали в плавающие. 22 июня 1941 года к боевому применению были готовы 746 танков Pz.Kpfw.II, 424 из них были потеряны к концу года. По мере насыщения танковых частей более мощными боевыми машинами, Pz.Kpfw.II все в большей степени использовались в разведывательных целях.

В боевых частях на Восточном фронте они встречались вплоть до 1943 года, в частности, в операции "Цитадель" приняли участие 70 танков Pz.Kpfw.II. Вплоть до 1943 года их использовали и в Северной Африке. В марте 1945 года в войсках насчитывалось еще 145 Pz.II. Кроме вермахта, эти машины состояли на вооружении в словацкой, румынской и болгарской армиях. На базе Pz.Kpfw.II различных модификаций строились самоходноартиллерийские установки, саперные, мостовые и огнеметные танки.