La construcción del Palacio fue encargada por el cardenal Borromeo entre 1562 y 1563, luego del proyecto del arquitecto Antonio Morandi, llamado Terribilia; fue para albergar las salas de conferencias para el Estudio Universitario (Derecho y Artes). Hasta 1803 fue la sede de la Universidad y desde 1838 alberga la Biblioteca Cívica. El palacio fue gravemente dañado por un bombardeo de 1944 y posteriormente reconstruido. El frente principal presenta una galería con 30 arcos, con dos pisos alrededor de un patio central. Dos grandes escaleras conducen a la planta superior con aulas (cerradas en la actualidad) y dos grandes salas, una para artistas (hoy salas de lectura) y otra para juristas (llamada Stabat Mater Hall). Las paredes de las habitaciones, las bóvedas de escaleras y las galerías abiertas están decoradas con inscripciones conmemorativas y monumentos dedicados a los maestros del estudio y miles de escudos de armas y nombres de estudiantes. En frente de la entrada se encuentra la capilla de S. Maria dei Bulgari. El Teatro Anatómico en madera tallada, fue construido por Antonio Levante en 1637 para lecciones de anatomía. En el interior, las famosas estatuas de los Spellati, sin piel, de Ercole Lelli.