De beslissing om dit paleis te bouwen werd genomen door de Caffarelli, een rijk Romeinse familie, in 1500 en Raphael werd gevraagd het te ontwerpen.Een van zijn leerlingen, Lorenzo Lotto, hield toezicht op de constructie.

De robuuste elegantie van het paleis werd gewijzigd in de 18e en 19e eeuw toen de gevel werd vergroot en opnieuw werd gezet om de Corso Vittorio Emanuele II onder ogen te zien en de topwinkel werd toegevoegd.

Traditie zou willen dat Charles V hier in 1536 heeft ingediend. In 1853 woonde de bisschop van Perugia, de toekomstige Leo XIII, op de begane grond.

In sommige kamers worden frescoed door Anton Raphael Mengs en door de school van Perin del Vaga.Vóór de Tweede Wereldoorlog werd het gebouw de zetel van het fascistische feest.

Vandaag herbergt het ministeriële kantoren.