Il palazzo è stato costruito nel 1576-1583 per Ascanio Caffarelli da Gregorio Canonica, allievo del Vignola. Sorge, nella zona della rupe Tarpea, sui resti dell’antico tempio di Giove Capitolino, fondato secondo la tradizione da Tarquinio Prisco e completato e inaugurato nel 509 A .C. sotto Tarquinio il Superbo. 

Nel corso dei secoli ha subito numerose trasformazioni, che ne hanno modificato le forme originarie. Si affacciava sul Cortile del Palazzo dei Conservatori ed includeva al suo interno due giardini (il Giardino Caffarelli e quello poi denominato Giardino Romano); il grande portale su Via delle Tre Pile, costituito da un timpano ad architrave spezzato, due mascheroni, costituiva l'ingresso monumentale alla proprietà. 

Ceduto nel 1854 a Guglielmo I di Prussia, dopo la Prima Guerra Mondiale il Palazzo fu sequestrato dal Governo Italiano alla Germania che vi aveva l’ambasciata. Parzialmente demolito per gli scavi archeologici venne poi restaurato per ospitare nei piani alti una grande terrazza (Terrazza Caffarelli), mentre al piano terreno, in parte smantellato per gli scavi del tempio di Giove Capitolino, fu allestito un nuovo settore museale (Museo Mussolini, poi Museo Nuovo). 

Presenta tre piani con nove finestre ognuno, mentre in origine erano diciassette. Al piano terreno possiamo osservare un grande portale bugnato, sovrastato da un balcone, decentrato.