Zbudowany w 1756 roku przez Bolończyka Alfonso Torreggiani za markizę Cavriani, jest to monumentalna konstrukcja z ciężkimi podziałami architektonicznymi i ornamentami.
Naprzeciw pałacu znajduje się ogród zaprojektowany dla Cavriani w 1826 roku przez Giovanniego Battistę Vergani, znanego przedstawiciela mediolańskiego neoklasycyzmu i twórcę kilku ważnych projektów w Mantui i prowincji w pierwszej połowie XIX wieku.

W 1835 roku marchese Luigi Cavriani miał marmurowy posąg Wergiliusza postawiony w ogrodzie naprzeciwko jego pałacu. Jego rzeźbiarz, Stefano Gerola z Mediolanu, był również odpowiedzialny za trzynaście popiersi Mantuans znanych z ich wkładu w listy, naukę i sztukę usytuowane na kolumnach balustrad.
Do portretów należą Ippolito Capilupi, Baldassarre Castiglioni, Filippo Cavriani, Marcello Donati, Teofilo Folengo, kardynał Ercole Gonzaga, marchese Francesco II Gonzaga, duca Vespasiano Gonzaga, Pietro Pomponazzo, Antonio Possevino, Battista Spagnoli, Jacopo Strada e Sordello Visconti.
Wyraźnie wyrażone pragnienie Marchese Cavrianiego, aby wymazać nowoczesny pomnik Wergiliusza po usunięciu w 1821 r. tego na Piazza Virgiliana.