Zbudowany w 1605 roku na ruinach łaźni Konstantyna przez Flaminio Ponzio dla kardynała Scipio Borghese, został ozdobiony przez Giovanniego Vasanzio ze spadzistym ogrodem tarasowym. Palazzo należało do Altemps, Bentivoglio, rodzin Lante, kardynała Mazzarino, do rodzin Mancini, a następnie Rospigliosi Pallavicini.

Ten ostatni powiększył i wzbogacił pałac obrazami, wśród nich pracowali dla nich Orazio Gentileschi, Paolo Brill i Antonio Tempesti, którzy wykonali fresk Triumph of Love over Fame.

Elewacje pałacu są gładkie, z boniowanymi pracami na obrzeżach i centralnym portykiem. Na pierwszym piętrze znajduje się Galeria Pallavicini z pracami z Botticellim, Rubensem, Caravaggio i Tycjana (by wymienić tylko niektóre).

W ogrodzie znajduje się kasyno dell'Aurora słynące z fresku Aurora namalowanego na suficie przez Guido Reni.