Строительство дворца было поручено кардиналу Борромео в период с 1562 по 1563 год по проекту архитектора Антонио Моранди под названием Terribilia; здесь должны были разместиться аудитории для обучения в университете (юриспруденция и искусство). До 1803 года здесь находился Университет, а с 1838 года здесь размещалась Гражданская библиотека. Дворец был сильно поврежден в результате бомбардировки 1944 года и впоследствии восстановлен. Главный фронт представляет аркаду с 30 арками, с двумя этажами вокруг центрального внутреннего двора. Две парадные лестницы ведут на верхний этаж с классными комнатами (в настоящее время закрыт) и двумя большими залами: один для художников (сегодня читальные залы) и один для юристов (так называемый Stabat Mater Hall). Стены комнаты, своды лестниц и открытые галереи украшены памятными надписями и памятниками, посвященными учителям студии, и тысячами гербов и именами учеников. Перед входом находится часовня Святой Марии деи Булгари. Анатомический театр из резного дерева был построен Антонио Леванте в 1637 году для уроков анатомии. Внутри находятся знаменитые статуи Спеллати - без кожи - Эрколе Лелли.