La construction du palais a été commandée par le cardinal Borromeo entre 1562 et 1563 à la suite du projet de l'architecte Antonio Morandi appelé Terribilia; il devait abriter les salles de conférence pour les études universitaires (droit et arts). Jusqu'en 1803, c'était le siège de l'Université et, depuis 1838, il abrite la bibliothèque municipale. Le palais a été lourdement endommagé par un bombardement de 1944 et reconstruit par la suite. La façade principale présente une arcade de 30 arches, avec deux étages autour d'une cour centrale. Deux grands escaliers mènent à l'étage supérieur avec des salles de classe (actuellement fermées) et deux grandes salles, l'une pour les artistes (aujourd'hui salles de lecture) et l'autre pour les juristes (appelée Stabat Mater Hall). Les murs des salles, les voûtes d'escaliers et les galeries ouvertes sont ornés d'inscriptions commémoratives et de monuments dédiés aux professeurs de l'atelier, ainsi que de mille blasons et noms d'étudiants. En face de l'entrée se trouve la chapelle de S. Maria dei Bulgari. Le théâtre anatomique en bois sculpté a été construit par Antonio Levante en 1637 pour des cours d'anatomie. À l'intérieur, les célèbres statues des Spellati - Sans peau - d'Ercole Lelli.