O palácio é o resultado de uma série de vicissitudes arquitetônicas que duraram quatro séculos.É entre os poucos palácios de Roma ainda estar ocupado por seus proprietários e preserva uma extraordinária coleção de móveis e obras de arte.O núcleo do palácio remonta a meados do século XII e foi construído pelo cardeal Nicolò Acciapacci.

Entre 1505 e 1507, o cardeal Fazio Santorio reconstruiu completamente o palácio, mas ele foi forçado pelo papa Júlio II a entregá -lo à família della rovere.O prédio passou para os aldobrandinis em 1601 e depois, quando Olimpia Aldobrandini se casou com Camillo Pamphilj sénior em 1647, com o último.

A parte mais notável do edifício é a que trabalhou pelo arquiteto Gabriele Valvassori entre 1731 e 1734. Ele enriqueceu a fachada no Corso e fechou a loggia superior do pátio de Bramante para obter quatro asas.Uma asa foi transformada na galeria de espelhos.Em 1651, Pamphilj elegeu o Papa como inocente X, sancionou o nascimento da galeria.

A coleção já incluía o famoso retrato do papa encomendado por Velasquez em 1650. A linha da família Pamphilj direta terminou em 1760 e o ramo de Doria Pamphilj herdou o palácio.

A galeria foi declarada indivisível e inalienável em 1871, juntamente com as outras coleções ex-transportadoras.