Le château, un édifice civique imposant de la période médiévale de Veronese, a été construit entre 1354 et 1356 sur ordre de Cangrande II della Scala. Le design a été conçu par la famille della Scala comme défense contre les invasions extérieures et la rébellion populaire. La zone environnante permettait une évacuation rapide et facile de la ville: après avoir traversé le pont fortifié, accessible uniquement à la famille noble, la route au nord, le long de la vallée de l'Adige, était une voie sûre. L’emplacement géographique stratégique de la ville a conduit à la mise en place d’un système de fortification, consolidant les vestiges de l’époque romaine et de la commune.
En 1404, à la suite des brèves dominations de Carrare et de Visconti, la ville est devenue une partie de la République de Venise. Le château était utilisé exclusivement à des fins militaires, en tant qu'entrepôt d'armes et de munitions et devint par la suite, au XVIIIe siècle, le siège de l'académie militaire vénitienne.
À l'époque de la révolte anti-française connue sous le nom de «Pasque Veronesi» (1797), le château fut le théâtre de nombreux combats armés. L'époque napoléonienne marque le début d'une transformation radicale de la structure existante. Le plan prévoyait la construction d'une caserne de l'armée sur trois côtés du terrain d'exercice, mais seules les sections situées le long de la rivière et menant au Palazzo Canossa ont été construites. Ce bâtiment, de style néo-classique, a continué de remplir une fonction militaire à l’époque autrichienne.
Ce n'est qu'après 1923 que le château cessa de remplir une fonction exclusivement militaire. Il a subi un profond changement structurel, à la suite des plans d'Antonio Avena, directeur des Musées municipaux, et de l'architecte Ferdinando Forlati: reconstruction des remparts du machaon, insertion d'éléments décoratifs de style gothique tardif et de la Renaissance dans les façades et prolongement de la décoration dans le style "période". À partir de 1925, le château devient un musée où sont installées de précieuses collections d'art. À partir de 1957, sous la direction de Licisco Maganato, une nouvelle organisation de l'ensemble du bâtiment fut planifiée pour restaurer la valeur des patrimoines historiques et artistiques notables. Cette révision critique et historique a favorisé l'authenticité et a ainsi éliminé les faux contextes créés lors de la rénovation précédente. La tâche de restauration et d'installation de musée a été confiée à l'architecte Carlo Scarpa, dont la solution très originale est universellement reconnue comme l'un des plus beaux exemples de rénovation de musée de l'Italie d'après-guerre.
Le Musée organise également des expositions temporaires dans sa salle Boggian (à l'intérieur de la cour, à droite).