Галерея Спада находится во дворце с одноименным названием, когда-то принадлежавшем кардиналу Джироламо Каподиферро (1502-1559), который около 1548 года начал строить его на месте ранее существовавших зданий, принадлежащих его семье, Бартоломео Баронино. (1551-1554) ди Казале Монферрато.

После смерти кардинала Каподиферро дворец перешел к семье Миньянелли, а затем был куплен в 1632 году кардиналом Бернардино Спада (1594-1661) за 3200 скудо. С того момента, как кардинал поселился, он решил не только создать основу коллекции произведений искусства, но также принял решение о серии модификаций, в которых приняли участие разные художники, скульпторы и архитекторы.