El arquitecto Bartolino de Novara comenzó la construcción de este edificio masivo en 1395, por orden de Francesco Gonzaga.

El castillo era un buen baluarte de defensa y un símbolo de poder; su posición aseguró controlar los lagos y dar refugio a la familia Gonzaga en caso de disturbios. Es un edificio cuadrangular con 4 torres angulares y 3 puertas, una vez cada una con un puente levadizo.
El castillo pronto se convirtió en parte del propio Palacio Ducal.
Durante el Renacimiento, el arquitecto florentino Luca Fancelli construyó un elegante porche para rodear los dos lados norte del castillo; Esto se convirtió en Piazza Castello.

Una amplia escalera de caracol conduce desde la planta baja a la Sala degli Stemmi: id está el escudo de armas, y Salone degli Affreschi, id la sala de frescos, donde se pueden admirar los grotescos de Mantegna con monstruos y centauros. . Desde aquí, puede acceder a la Sala delle Sigle, que es la sala de iniciales, que fue la sala de bodas de Francesco Gonzaga e Isabella d'Este, y la Sala del Fregio, la sala de friso, que está decorada con plumas doradas y volutas.

En la torre nororiental, a la izquierda de Sala dei Soli - id est la sala de los soles - existe la famosa Camera Picta, también conocida como Camera degli Sposi - id est la sala de los novios -, que es la de Mantegna Obra maestra, que ya fue admirada por Lucrezia Borgia y el duque Alfonso D'Este. Sus frescos representan la familia y la corte del marqués Ludovico Gonzaga, y el encuentro entre el marqués y su hijo Francesco, que era un cardenal. Un hermoso trompe l’oeil cubre el techo de la habitación.