El castillo, un imponente edificio cívico de la época medieval veronesa, fue construido entre 1354 y 1356 por orden de Cangrande II della Scala. El diseño fue concebido por la familia della Scala como una defensa contra las invasiones externas y la rebelión popular. El área circundante permitió un escape rápido y fácil de la ciudad: después de cruzar el puente fortificado, accesible solo para la familia noble, el camino hacia el norte a lo largo del valle del Adigio era una ruta segura. La ubicación geográfica estratégica de la ciudad llevó al desarrollo de un sistema de fortificación, consolidando los restos de los períodos romano y comunal.
En 1404, siguiendo las breves dominaciones de Carrara y Visconti, la ciudad se convirtió en parte de la República de Venecia. El castillo fue utilizado exclusivamente para fines militares, como almacén de armas y municiones y, posteriormente, en el siglo XVIII, se convirtió en la sede de la academia militar veneciana.
En los días de la revuelta anti-francesa conocida como el "Pasque Veronesi" (1797), el castillo fue el sitio de numerosos enfrentamientos armados. La época napoleónica marcó el inicio de una transformación radical de la estructura existente. El plan preveía la construcción de un cuartel del ejército alrededor de tres lados del campo de perforación, pero solo se construyeron las secciones a lo largo del río y hacia el Palazzo Canossa. Este edificio, de estilo neoclásico, continuó cumpliendo una función militar en la época austriaca.
Sólo después de 1923 el castillo dejó de cumplir una función exclusivamente militar. Sufrió un cambio estructural dramático, siguiendo los planes de Antonio Avena, director de los Museos Cívicos, y del arquitecto Ferdinando Forlati: la reconstrucción de las almenas de golondrina, la inserción de elementos decorativos del gótico tardío y del Renacimiento en las fachadas y la extensión de lo pictórico. Decoración en estilo “período”. A partir de 1925, el castillo se convirtió en un museo, donde se instalaron valiosas colecciones de arte. A partir de 1957, bajo la dirección de Licisco Maganato, se planeó una nueva organización de todo el edificio, para restaurar el valor de los notables patrimonios históricos y artísticos. Esta revisión crítica e histórica favoreció la autenticidad y, por lo tanto, eliminó los contextos falsos creados en la renovación anterior. La tarea de restauración e instalación del museo fue encomendada al arquitecto Carlo Scarpa, cuya solución altamente original es reconocida universalmente como uno de los mejores ejemplos de renovación de museos en la Italia de posguerra.
El Museo también tiene exposiciones temporales en su Sala Boggian (dentro del patio, a la derecha).