Zamek, imponujący budynek miejski ze średniowiecznego okresu Veronese, został zbudowany w latach 1354-1356 na polecenie Cangrande II della Scala. Projekt został pomyślany przez rodzinę della Scala jako obrona przed zewnętrznymi inwazjami i popularnym buntem. Okolica pozwoliła na szybką i łatwą ucieczkę z miasta: po przekroczeniu warownego mostu, dostępnego tylko dla rodziny szlacheckiej, droga na północ wzdłuż doliny Adige była bezpieczną trasą. Geograficznie strategiczne położenie miasta doprowadziło do powstania systemu fortyfikacji, konsolidującego pozostałości okresu rzymskiego i komunijnego.
W 1404 roku, po krótkich dominacjach Carrara i Visconti, miasto stało się częścią Republiki Weneckiej. Zamek był wykorzystywany wyłącznie do celów wojskowych, jako magazyn broni i amunicji, a następnie, w XVIII wieku, stał się siedzibą weneckiej akademii wojskowej.
W czasach antyfrancuskiego buntu znanego jako „Pasque Veronesi” (1797) zamek był miejscem licznych walk zbrojnych. Epoka napoleońska oznaczała początek radykalnej transformacji istniejącej struktury. Plan przewidywał budowę koszar wojskowych wokół trzech stron dziedzińca, ale tylko te odcinki wzdłuż rzeki i w kierunku Palazzo Canossa zostały zbudowane. Budynek ten, w stylu neoklasycznym, nadal pełnił funkcję wojskową w epoce austriackiej.
Dopiero po 1923 r. zamek przestał pełnić wyłącznie funkcję wojskową. Przeszedł on dramatyczną zmianę strukturalną, zgodnie z planami Antonio Aveny, dyrektora Muzeów Obywatelskich, i architekta Ferdinando Forlati: rekonstrukcja blanków jaskiniowych, wstawienie późnogotyckich i renesansowych elementów dekoracyjnych na fasady i rozbudowa obrazka dekoracja w stylu „okresowym”. Od 1925 roku zamek stał się muzeum, w którym zainstalowano cenne zbiory sztuki. Począwszy od 1957 r., Pod kierunkiem Licisco Maganato, zaplanowano nową organizację całego budynku, aby przywrócić wartość godnych uwagi zabytków historycznych i artystycznych. Ta krytyczna i historyczna rewizja faworyzowała autentyczność, a tym samym wyeliminowała fałszywe konteksty stworzone podczas poprzedniej renowacji. Zadanie renowacji i instalacji muzealnej powierzono architektowi Carlo Scarpie, którego niezwykle oryginalne rozwiązanie jest powszechnie uznawane za jeden z najlepszych przykładów renowacji muzeum powojennych Włoch.
Muzeum organizuje także wystawy czasowe w Sali Boggian (na dziedzińcu po prawej).