O edifício foi encomendado no início do século 18 por Giovanni Gaetano Carli e recebeu a decoração pictórica de Giuseppe Milani na década de 1980.

Em 1807, o Papa Pio VII comprou o palácio do Carli, deu ao seu sobrinho Scipione Chiaramonti e estabeleceu a modernização pela tumba do arquiteto.É aqui que o pontífice, retornando do exílio, viveu durante sua estadia em sua cidade natal (1814).

No segundo século XIX, novas mudanças implementaram: a abertura de uma entrada para via Sacchi e novas decorações dentro de Lucio Rossi.

Desde 1910, ele foi submetido à legislação sobre as propriedades de interesse histórico-artístico.Durante a Segunda Guerra Mundial, ele sofreu danos relevantes devido ao surto de três tiros de obice disparados do exército VIII contra as tropas alemãs aposentadas e terminou, por engano, no prédio.

ainda é habitado pelos pronipopas do pontífice Cesena.

A fachada de Palazzo Chiaramonti é sóbria, já que um projeto de tumba mais suntuoso nunca foi concluído, enquanto o protagonista do interior é a escada monumental com afresco do Olimpo de Milani;A partir da escada, você pode acessar o grande salão de representação, com pinturas de Milani, incluindo a alegoria da vida e do dia no teto ", Venus indica para EAE e acatar o caminho para Cartago" e "Didone acolhem Enea" nas paredes.