Il Palazzo è stato una delle più fastose residenze del Settecento Milanese. Le due importanti facciate che lo caratterizzano, ne fanno un esempio quasi unico, rispetto alle altre case nobili.
Sede della Biblioteca Comunale Centrale dal 1956, ospita alcune pregevoli sale, tra cui la più famosa è quella denominata del Grechetto, dal nome del pittore a cui si attribuivano originariamente le tele che la ornano. Si tratta di ventitre dipinti raffiguranti il mito di Orfeo che ammansisce gli animali (uno di essi è esposto alle Civiche Raccolte d’Arte del Castello Sforzesco).
Le tele, che per lungo tempo sono state attribuite al genovese Giovan Battista Castiglione detto il Grechetto, sono oggi più correttamente associate a un anonimo artista di estrazione nordica.
Oggi la sala è utilizzata quale spazio per lo svolgimento di eventi culturali (conferenze, dibattiti, presentazioni di libri).La Biblioteca Sormani, così chiamata affettuosamente dai Milanesi, è un luogo eccellente per la lettura. Circondati dal silenzio, è facile trovare la giusta concentrazione, per godere del ricco patrimonio che la Biblioteca conserva al suo interno. Oltre 600 mila volumi, circa 200 mila testate italiane e straniere consultabili nell'emeroteca, oltre 40 mila documenti tra dischi, cd, dvd, nastri e videocassette nel centro audiovisivo.