Der Bau des Palastes wurde von Kardinal Borromeo zwischen 1562 und 1563 in Auftrag gegeben, nachdem der Architekt Antonio Morandi den Namen Terribilia hatte. Es sollte die Hörsäle für das Universitätsstudium (Recht und Kunst) beherbergen. Bis 1803 war es der Sitz der Universität und seit 1838 beherbergte es die Civic Library. Der Palast wurde 1944 durch Bombenangriffe schwer beschädigt und anschließend wieder aufgebaut. Die Hauptfront zeigt eine Arkade mit 30 Bögen, die zwei Stockwerke um einen zentralen Innenhof bilden. Zwei große Treppen führen zum Obergeschoss mit Klassenzimmern (derzeit geschlossen) und zwei großen Sälen für Künstler (heute Lesesäle) und für Juristen (Stabat Mater Hall). Die Zimmerwände, die Gewölbe der Treppen und die offenen Galerien sind mit Erinnerungsinschriften und Denkmälern geschmückt, die den Lehrern des Ateliers und tausend Wappen und Namen der Schüler gewidmet sind. Vor dem Eingang befindet sich die Kapelle S. Maria dei Bulgari. Das Anatomische Theater aus geschnitztem Holz wurde 1637 von Antonio Levante für Anatomiestunden erbaut. Im Inneren die berühmten Statuen der Spellati - Skinless - von Ercole Lelli.