Originalmente se le conocio con el complemento para el Panzer I; proveyendolo con un arma capaz de disparar proyectiles de alto explosivo y perforantes.  En Julio de 1934 de ordeno por parte del Departamento de contrucciones del Ejercito y el Octubre de 1935 se entrego el primer prototipo. Debido a la negacion del Tratado de Versalles por Alemania, se ordeno un desarrollo acelerado y para ello se ordenaron 21 vehiculos de preserie. El Panzer II se empezo a entregar a las unidades Panzer en la primavera de 1936. Inicialmente fue asignado a los comandantes de Compañia y posteriormente paso a conformar unidades completas, destinadas a los encuentros con tanques enemigos. Inicialmente en la Invasion de Polonia participo como unidades de ataque, posteriormente durante la campaña de Francia se lo destino a funciones de reconocimineto. Durante el inicio de la Invasion de Rusia, cada Regimiento, Compañia y destacamento Panzer contaba con una unidad de Panzer II asignada en labores de exploracion. En 1942 se lo asigna a las uniadades de retaguardia y en 1943 se lo retiro del servicio en las unidades principales , quedan relegado hasta el final de la guerra a los frentes secundarios. 

El Ausf B fue el segundo modelo de serie del Pz Kpfw II. Para ello se se realizaron una serie de modificaciones a fin de mejorara el desempeño; se le mejoro el sitema de conduccion, la transmision y se lo doto de un motor mas grande. El sistema de ventilacion y enfriamiento del motor fueron mejorados y un nuevo sistema de exhosto le fue instalado. Fue utilizado en las mismas condiciones del Ausf a. 

Este fue el modelo final en el desarrollo del Pz II, contaba con el mismo blindaje de 13mm del Ausf a. El modelo Ausf A fue el primero en la serie de produccion construyendose hasta Julio de 1937; el Ausf B fue producido hasta Diciembre de 1937 y el Ausf C desde Junio de 1938. En este modelo se cambiaron las seis pequeñas ruedas del Ausf a por cinco independientes de gran diametro y los rodillos de retorno se aumentaron a cuatro. El sistema de refrigeracion y ventilacion del motor fue mejorado. Ademas se doto a las versiones A, B y C de una mejora en el sistema de transmision. Durante la campaña de Polonia se vio que las armas antitanques del ejercito polaco facilmente penetraban el blindaje, por ello en Mayo de 1940 se añadieron placas de 20mm en la parte de la torreta, superestructura y frente del casco. Asi mismo se detecto una insuficiencia en el sistema de vision, por lo que a partir de Octubre de 1940 fue dotado con ocho periscopios para el comandante. 

Esta version se desarrollo con el fin de dotar a las unidades de caballeria ligera de un vehiculo para reconocimiento con una velocidad maxima de 55 km/h. La totalidad del casco, superestructura y la suspension fueron totalmente rediseñados a partir de la serie del Pz Kpfw II, conservando solamente la torreta. Este modelo fue el primero en utilizar barra de torsion en su sitema de suspension; contaba con cuatro grandes ruedas con doble seccion de caucho, que ademas servian para impulsar las cadenas, habiendose eliminado  los rodillos de retorno. Fue utilizado en sus versiones Ausf D y E en los destacamentos de tanques de las Divisiones Ligeras. Su primeras acciones fueron en Polonia. En Marzo de 1940, las unidades existentes fueron transformadas en tanques lanzallamas.