Construit en 1605 sur les ruines des thermes de Constantine par Flaminio Ponzio pour le cardinal Scipio Borghese, il fut décoré par Giovanni Vasanzio avec un jardin en terrasse en pente. Le palais appartenait aux familles Altemps, Bentivoglio, Lante, au cardinal Mazzarino, aux Mancini, puis aux Rospigliosi Pallavicini.

Ce dernier agrandit et enrichit le palais de peintures. Parmi les artistes qui travaillèrent pour eux, figuraient Orazio Gentileschi, Paolo Brill et Antonio Tempesti, qui réalisèrent la fresque Triumph of Love over Fame.

Les façades du palais sont sobres, avec des façades en pierre de taille rustiquées et un portique central. Au premier étage se trouve la galerie Pallavicini avec des œuvres de Botticelli, Rubens, Caravaggio et Titian (pour ne citer que quelques-unes).

À l'intérieur du jardin se trouve le Casino dell'Aurora, célèbre pour la fresque de l'Aurore peinte au plafond par Guido Reni.