A decisão de construir esse palácio foi tomada pelo Caffarelli, uma rica família romana, em 1500 e Raphael foi convidado a projetá -lo.Um de seus alunos, Lorenzo Lotto, supervisionou sua construção.

A elegância robusta do palácio foi alterada nos séculos XVIII e XIX, quando a fachada foi aumentada e se saiu para enfrentar o Corso Vittorio Emanuele II e o principal andar foi adicionado.

Tradicionaria que Charles V apresentou aqui em 1536. Em 1853, o bispo de Perugia, o futuro Leo XIII, morava no térreo.

Dentro de alguns quartos são afrescos por Anton Raphael Mengs e pela Escola de Perin del Vaga.Antes da Segunda Guerra Mundial, o prédio se tornou a sede do partido fascista.

Hoje, abriga escritórios ministeriais.