Wspaniały mały pałac, w którym mieści się Galeria Borghese, został zbudowany na początku XVII wieku jako prywatna rezydencja i publiczna reprezentacja rodziny Borghese. Od samego początku mieściła się w nim kolekcja kardynała Scipio (1579-1633), bratanka papieża Pawła Piątego Borghese.

Galeria zdjęć została tam przeniesiona już w 1615 r., aw 1625 r. przeniesiono tam również około dwieście sztuk starożytnych rzeźb. Oryginalny rdzeń kolekcji świadczy o głębokim zainteresowaniu kardynała Scipio starożytnością, klasycyzmem i nowatorskimi nurtami artystycznymi tamtych czasów, z wyłączeniem sztuki średniowiecznej. Kolekcja została z czasem zwiększona poprzez konfiskaty, darowizny i zakupy, a pod koniec XVII wieku została wzbogacona o dziedzictwo Olimpii Aldobrandini.

W 1807 roku książę Camillo Borghese, mąż Paoliny Bonapart, musiał przekazać Napoleonowi znaczną część kolekcji archeologicznej (154 rzeźby, 160 popiersi, 170 bas-riliefów, 30 kolumn i kilka waz, które dziś stanowią Fundusz Borghese w Luwrze w Paryżu). W 1902 roku państwo włoskie zakupiło resztę kolekcji i pałac.

Długa renowacja przywróciła elewacji oryginalny biały kolor marmuru i odbudowała zewnętrzną klatkę schodową z podwójnym lotem zgodnie z oryginalnym projektem. Obecnie kolekcja składa się z rzeźb, bas-riliefów i starożytnych mozaik, obrazów z XVI-XVII wieku i rzeźb. Są wśród nich arcydzieła Antonello da Messiny, Giovanniego Belliniego, Perugino, Pinturicchio, Veronese, Rafaela (Deposition), Domenichino (polowanie Diany), Tycjana (Święta i świecka miłość, Miłość z zawiązanymi oczami Wenus), Correggio (Danae), Caravaggio (Młodzież z kosz owoców, Madonna pieszych, Dawid z głową Goliata), Rubens (Pietà) i wspaniałe rzeźby Gian Lorenzo Berniniego (Apollo i Daphne, gwałt na Prozerpinie, Dawid) i Canova (Paolina Borghese).