На протяжении веков замок был оборонительной крепостью, резиденцией, военными казармами и местом расположения музеев и культурных учреждений; Преобразования одного из самых представительных и популярных памятников Милана были разнообразными и сложными. Оборонительный характер этого заметного сооружения сделал его целью многих осад, разрушений и последовательных реконструкций некоторых частей во время французского, испанского и австрийского господства.
События замка разворачиваются в широком историческом окне города, начиная с первоначального ядра замка, названного Порта Джовия, которое датируется 1358-1368 годами во времена Галеаццо II Висконти. Он использовал замок в качестве своей резиденции во время своего пребывания в Милане, но, прежде всего, он использовал его как военный гарнизон.
Филиппо Мария Висконти сделала его своим постоянным местом жительства, продолжая консолидацию и строительство настоящего форталеза. Именно Франческо Сфорца, ставший правителем Милана в 1450 году, придал особый импульс реконструкции здания, которое было серьезно повреждено между 1447 и 1450 годами.
Сегодня замок является домом для Гражданских музеев, а с 1896 года он принимал его. одна из самых больших художественных коллекций в городе. Внутри Museo d’Arte Antica (Музей древнего искусства) хранит последний шедевр Микеланджело, Пьета Ронданини. Здесь также находится Пинакотека (Картинная галерея), Raccolta di Mobili (Коллекция Мебели) с предметами с 15 по 19 век; Роккетта, где можно полюбоваться Музей декоративного искусства (Музей декоративного искусства) с его чрезвычайно обширной коллекцией керамики; Oreficerie (Ювелиры); одна из крупнейших коллекций музыкальных инструментов в Европе; Арацци Тривульцио (Trivulzio Tapestries); Армерия (Оружейная палата); Museo della Preistoria e Protostoria (Музей предыстории и протоистории); Museo Egizio (Египетский музей) и Sale Viscontee, выставочные залы с периодическими показами. Наконец, в замке находится много важных архивов и библиотек: Biblioteca d'Arte (Библиотека искусств), Archivio Storico (Исторический архив), Biblioteca Trivulziana (Библиотека Trivulziana), Biblioteca Archeologica e Numismatica (Библиотека археологии и нумизматики) , CASVA (Центр перспективных исследований в области изобразительного искусства), Ракколта делле Стампе «Achille Bertarelli» (печатная коллекция «Achille Bertarelli»), Archivio Fotografico (фотоархив) и Raccolta Vinciana (коллекция Vinciana).
В 1521 году центральная башня замка, где находился склад боеприпасов, обрушилась из-за случайного взрыва пороха, возможно, вызванного ударом молнии.
За последние 20 лет 19-го века было выдвинуто много предложений, предполагающих разрушение всего или, по крайней мере, хорошей части замка. К счастью, они не были приняты, и проект по перестройке здания был поручен архитектору Люке Бельтрами, уже полному защитнику опоры Сфорца.
В 1893 году архитектор разработал план реконструкции, основанный на архивных документах, картинах и современных литературных текстах, которые направили его к филологической реконструкции. Он предусматривал восстановление украшений, которые использовались в эпоху Сфорца, покрытие парапетных прогулок, изменение положения герба миланских правителей и, естественно, восстановление Торре-дель-Филарете (башни Филарете). или Торре Умберто I (Башня Умберто I).
Торре-дель-Филарете был полностью реконструирован архитектором Лука Бельтрами на основе граффити, найденного в Кашина Поццобонелли (Pozzobonelli Farmhouse) и в аббатстве. С другой стороны, архитектор с нуля перепроектировал окна и фасад замка, вдохновленный стилем интерьера. Торре дель Филарете был открыт 24 сентября 1904 года и впоследствии был посвящен Умберто I.
Античный парк Висконти был уменьшен в размерах на протяжении веков, оставив только пыльную площадь под названием Пьяцца д'Арми, которая использовалась для военных упражнения. В период с 1891 по 1894 год благодаря новой работе муниципалитета он получил новую жизнь. Это стоило 1 700 000 лир дня за 21 га зеленых насаждений, спроектированных архитектором Эмилио Алеманья. Сейчас это Парк Семпионе (Sempione Park).