Slottet, en imponerande medborgarbyggnad från den medeltida Veronese perioden, byggdes mellan 1354 och 1356 på order av Cangrande II della Scala.Designen utformades av Della Scala -familjen som ett försvar mot både utanför invasioner och populärt uppror.Det omgivande området möjliggjorde en snabb och enkel flykt från staden: Efter att ha korsat den förstärkta bron, endast tillgängligt för den ädla familjen, var vägen till norr längs Aduce Valley en säker väg.Stadens geografiskt strategiska läge ledde till utvecklingen av ett befästningssystem och konsoliderade resterna av de romerska och kommunala perioderna.
1404, efter de korta dominationerna Carrara och Visconti, blev staden en del av Venetian Republic.Slottet användes uteslutande för militära ändamål, som ett vapen och ammunitionslager och därefter, på artonhundratalet, blev platsen för den venetianska militära akademin.
Under dagarna av den anti-franska revolten som kallas ”Pasque Veronesi” (1797) var slottet platsen för många väpnade engagemang.Den napoleoniska epoken markerade början på en radikal omvandling av den befintliga strukturen.Planen tillhandahöll byggandet av en armékaserner runt tre sidor av borrdomstolen, men endast dessa sektioner längs floden och mot Palazzo Canossa byggdes.Denna byggnad, i neo-klassisk stil, fortsatte att tjäna en militär funktion i den österrikiska epoken.
först efter 1923 upphörde slottet för att tjäna en exklusivt militär funktion.Det genomgick en dramatisk strukturell förändring, efter planer av Antonio Avenena, chef för medborgarmuseerna, och arkitekten Ferdinando Forlati: Rekonstruktionen av svalskalarna, införandet av sent gotiska och renässansdekorativa element i fasaderna och förlängningen av bildernaDekoration i "period" -stil.Från och med 1925 blev slottet ett museum, där värdefulla konstsamlingar installerades.Från och med 1957 planerades, under ledning av Licisco Maganato, en ny organisation av hela byggnaden, för att återställa värdet av de anmärkningsvärda historiska och konstnärliga patrimonierna.Denna kritiska och historiska revision gynnade äkthet och eliminerade därmed de falska sammanhang som skapades i föregående renovering.Uppgiften för restaurering och museuminstallation anfördes arkitekten Carlo Scarpa, vars mycket ursprungliga lösning är allmänt erkänd som ett av de finaste exemplen på museumrenovering av efterkrigstiden.
Museet har också tillfälliga utställningar i sitt boggiska rum (inuti gården, till höger).