Au fil des siècles, le château a été une forteresse de défense, une résidence, une caserne militaire et le site de musées et d'institutions culturelles; les transformations de l'un des monuments les plus représentatifs et les plus populaires de Milan ont été diverses et complexes.
La nature défensive de cette structure remarquable en a fait une cible pour de nombreux sièges, démolitions et reconstructions successives de certaines parties au cours de la domination française, espagnole et autrichienne.
Les événements du château se déroulent dans la grande fenêtre de la ville, à commencer par le noyau d'origine du château, nommé Porta Giovia, qui remontait à 1358-1368 à l'époque de Galeazzo II Visconti. Il a utilisé le château comme résidence lors de ses séjours à Milan, mais il l'a surtout utilisé comme garnison militaire.
Filippo Maria Visconti en fit sa résidence fixe, continuant ainsi la consolidation et la construction d'un véritable fortalice. Ce fut Francesco Sforza qui, après être devenu souverain de Milan en 1450, donna une impulsion particulière à la reconstruction du bâtiment gravement endommagé entre 1447 et 1450.
Aujourd'hui, le château abrite les musées municipaux et abrite depuis 1896 une des plus vastes collections artistiques de la ville. À l’intérieur, le Museo d’Arte Antica est le gardien du dernier chef-d’œuvre de Michel-Ange, la Pietà Rondanini. Il abrite également la Pinacothèque (Galerie de photos), Raccolta di Mobili (Collection de meubles), avec des pièces du 15ème au 19ème siècle; la Rocchetta, où l’on peut admirer le Museo delle Arti Decorative (musée des arts décoratifs), qui abrite une très vaste collection de céramiques; l'Oreficerie (Orfèvres); une des plus grande collection d'instruments de musique en Europe; les Arazzi Trivulzio (tapisseries de Trivulzio); l'Armeria (Armory); le Museo della Preistoria e Protostoria (Musée de la préhistoire et de la protohistoire); le Museo Egizio (musée égyptien) et le Sale Viscontee, salles d’expositions avec expositions périodiques. Enfin, le château abrite de nombreuses archives et bibliothèques importantes: Biblioteca d'Arte, Archivio Storico (Archives historiques), Biblioteca Trivulziana (Bibliothèque Trivulziana), Biblioteca Archeologica e Numismatica (Bibliothèque archéologique et numismatique) , CASVA (Centre d’études supérieures en arts visuels), Raccolta delle Stampe «Achille Bertarelli» (Collection de gravures «Achille Bertarelli»), Archivio Fotografico (Archives photographiques) et Raccolta Vinciana (Collection de Vinciana).
En 1521, la tour centrale du château, où se trouvait un dépôt de munitions, s'est effondrée à la suite d'une explosion accidentelle de poudre à canon, probablement causée par un coup de foudre.
Au cours des 20 dernières années du 19ème siècle, de nombreuses propositions suggèrent la démolition de la totalité ou du moins d'une bonne partie du château. Heureusement, ils n'ont pas été repris et le projet de restructuration du bâtiment a été confié à l'architecte Luca Beltrami, déjà un grand défenseur du rempart Sforza.
En 1893, l'architecte conçut un plan de reconstruction basé sur des documents d'archives, des peintures et des textes littéraires contemporains, qui le dirigeait vers une reconstruction philologique. Il prévoyait la récupération des décorations utilisées à l'époque des Sforza, la couverture des allées de parapet, le repositionnement des armoiries des dirigeants de Milan et, bien entendu, la reconstruction de la Torre del Filarete (Tour Filarete). ou la tour Umberto I (tour d'Umberto I).
La Torre del Filarete a été entièrement reconstruite par l'architecte Luca Beltrami à partir de graffitis trouvés dans la Cascina Pozzobonelli (Ferme Pozzobonelli) et dans une abbaye. D'autre part, l'architecte a entièrement repensé les fenêtres et la façade du château, en s'inspirant du style de l'intérieur. La Torre del Filarete a été inaugurée le 24 septembre 1904 et dédiée à Umberto I.
L'ancien parc Visconti a été réduit au fil des siècles, ne laissant qu'une piazza poussiéreuse appelée Piazza d'Armi, utilisée à des fins militaires. des exercices. Entre 1891 et 1894, il prit une nouvelle vie grâce à l'engagement de l'administration municipale de l'époque. Il en coûtait 1 700 000 lires par jour pour 21 hectares d'espaces verts conçus par l'architecte Emilio Alemagna. C'est maintenant le Parco Sempione (parc de Sempione).