Construído em 1756 por Bolognese Alfonso Torreggiani para o marquês de Cavriani, é uma construção monumental com graves divisões e ornamentação arquitetônicas.
Em frente ao Palácio, há um jardim projetado para o Cavriani em 1826 por Giovanni Battista Vergani, um conhecido expoente do neoclassicismo milaneses e criador de vários projetos importantes em Mantua e na província durante a primeira metade do século XIX.

Em 1835, o marchês Luigi Cavriani tinha uma estátua de mármore de Virgil erguida no jardim em frente ao seu palazzo.Seu escultor, Stefano Gerola, de Milão, também foi responsável pelos treze bustos de Mantuans, reconhecidos por sua contribuição às cartas, ciências e artes situadas nas colunas dos trilhos.
The portraits include Ippolito Capilupi, Baldassarre Castiglioni, Filippo Cavriani, Marcello Donati, Teofilo Folengo, cardinal Ercole Gonzaga, marchese Francesco II Gonzaga, duca Vespasiano Gonzaga, Pietro Pomponazzo, Antonio Possevino, Battista Spagnoli, Jacopo Strada e Sordello Visconti.
Foi o desejo claramente expresso de Marchese Cavriani de preparar um monumento moderno a Virgílio após a remoção em 1821 daquele na Piazza Virgiliana.