Il marchese Gian Pietro Camillo Isimbardi, che ricopre incarichi politici nella Milano napoleonica, trasforma Palazzo Isimbardi, già nella seconda metà del ‘700, in un centro di studi e di raccolte scientifiche. A quel tempo, accanto alla biblioteca sono allestiti sia un gabinetto di mineralogia, sia una raccolta di strumenti nautici e carte per la navigazione.
Nel 1817, i fratelli Alessandro e Luigi Isimbardi intraprendono opere di consolidamento dell’edificio, che coinvolgono il balconcino barocco, la soglia e le strutture del casino. In seguito, sia è rifatta la facciata verso il giardino, sia si riorganizza il parco con il modello all’inglese. Ci sono, secondo il gusto romantico, luoghi nascosti, una collinetta artificiale e grotte. Anche il cortile cinquecentesco è oggetto di modifiche: sono inserite colonne e la copertura del selciato con pavimentazione “a rizzarda”, mentre scompare il pozzo centrale.
La ristrutturazione coinvolge pure gli ambienti interni: sale, salotti e gallerie sono decorati con stucchi e dorature.
L’aspetto attuale lo si raggiunge a fine ‘800, quando si sopraelevano le due ali laterali di un piano, modificando l’aspetto settecentesco, e sono introdotti due balconcini laterali per equilibrare quello barocco centrale.
Nel 1935, lo acquista la Provincia di Milano che, grazie ai lavori di restauro dell’architetto Ferdinando Reggiori, recupera il cortile cinquecentesco originario e i lacerti delle pitture delle pareti del sottoportico, con motivi ornamentali vegetali e architettonici.
L’ampliamento moderno all’angolo di Via Vivaio è progettato da Giovanni Muzio nel 1940. Egli aggiunge all'antica costruzione un nuovo edificio di stile funzionalista con la torre, i portali colonnati, i pannelli scultorei realizzati da Ivo Soli. Il nuovo palazzo è inaugurato il 24 ottobre 1942; circa mezz'ora dopo l'inaugurazione, su Milano si scatena il primo bombardamento che frantuma i vetri di tutte le finestre.
A seguito di questi bombardamenti e di quelli del 1943, i necessari lavori di ricostruzione e restauro sono diretti ancora dall'architetto Reggiori dal 1950 al 1953.
Dal ballatoio dello scalone d’onore si accede all’atrio dei mappamondi. Montati su eleganti treppiedi baroccheggianti, due grandi mappamondi lignei, l’uno raffigurante la volta celeste e l’altro il globo terracqueo.
Nella sala della Giunta è presente una scrivania in radica di olmo della prima metà dell’Ottocento, forse usata dal maresciallo austriaco Radetsky quando ricopriva la carica di governatore militare del Lombardo-Veneto.
La sala della Giunta, visitabile su richiesta, ospita un dipinto di Tiepolo che raffigura “Apoteosi di Angelo della Vecchia nel segno delle virtù”.
Palazzo Isimbardi possiede anche un’importante collezione aperta al pubblico di opere ottocentesche. Ne fanno parte artisti quali, tra gli altri, i lombardi Leonardo Bazzaro e Luigi Conconi, il piemontese Lorenzo Delleani e il napoletano Edoardo Dalbono.
Il 9 maggio 2008, nella piazzetta antistante al palazzo è stata posta la statua “L’uomo della Luce”, un dono della Provincia alla cittadinanza, in occasione della Giornata della memoria di tutte le vittime del terrorismo e delle stragi, istituita nell’anniversario dell’uccisione di Aldo Moro.