Venne costruito nel 1756 dal bolognese Alfonso Torreggiani per i marchesi Cavriani, in scala monumentale, con una severa composizione delle partizioni architettoniche e degli omati.
Di fronte al palazzo è il giardino realizzato nel 1826 per i Cavriani da Giovanni Battista Vergani, apprezzato esponente del neoclassicismo milanese, autore di importanti progetti a Mantova e in provincia nella prima metà dell'Ottocento.
Di fronte al Palazzo è visibile il giardino Cavriani.
Nel 1835 il marchese Luigi Cavriani fece erigere, nel giardino prospicente il suo palazzo, una statua marmorea di Virgilio,opera del milanese Stefano Gerola, autore anche dei tredici busti di illustri mantovani rinomati nelle arti, nelle lettere e nelle scienze, posti sui pilastri della cancellata.
Si tratta dei ritratti di: Ippolito Capilupi, Baldassarre Castiglioni, Filippo Cavriani, Marcello Donati, Teofilo Folengo, cardinale Ercole Gonzaga, marchese Francesco II Gonzaga, duca Vespasiano Gonzaga, Pietro Pomponazzo, Antonio Possevino, Battista Spagnoli, Jacopo Strada e Sordello Visconti.
L'intento dichiarato del marchese Cavriani era quello di erigere un moderno monumento a Virgilio dopo che, nel 1821, era stato smantellato quello realizzato dai francesi nel 1801 in piazza Virgiliana.