Dieser Palast, einer der ersten, der in der nordwestlichen Ecke der ummauerten Stadt am Ende des Palazzo Pandolfini, des Giardino Decorato da Statue aus dem 15. Jahrhundert errichtet wurde, hatte einen kleinen "Garten der Genüsse" und einen größeren Gemüsegarten . Vasari schreibt, dass das Gebäude von Raphael wahrscheinlich 1514 für den Bischof Giannozzo Pandolfini umgestaltet wurde. Der Garten und der Palast waren mit Statuen, Springbrunnen und Wasserspielen - Geschenken von Papst Leo X. - und einer so großen Menge an Blumen und Pflanzen geschmückt, dass der Palast zu Ferrantes Zeit (ca. 1550) zu einem Kulturzentrum wurde. Filippo (ca. 1600), Roberto (ca. 1750) und andere Familienmitglieder. Im späten 18. Jahrhundert wäre der sogenannte "Palastzweig" der Pandolfini-Familie ausgestorben, wenn Eleonora, Tochter von Agnolo, ihren Neffen Alessio nicht adoptiert hätte. Durch Eleonora, die im Winter ein Treibhaus für ihre Zierpflanzensammlung bauen ließ, erlebte der Palast ein neues Leben und beherbergte erneut Künstler und Schriftsteller wie in der Renaissance. Von 1870 bis etwa 1885 setzte Alessio die Renovierung des Gebäudes fort; Diesem Wiederherstellungsschema folgten zwei weitere, 1954-1956 und 1994-1996, von Filippo Pandolfini, dem Vater der heutigen Eigentümer Roberto und Niccolò. Der Garten, der von Eleonora in einen "romantischen Garten im englischen Stil" umgewandelt worden war, erlangte durch seine Ehefrau des Grafen Alessio, Sofronia Stibbert, die ebenfalls eine ausgebildete Gärtnerin wurde, wieder ihren ursprünglichen Glanz. Ihre Sammlungen von Kamelien und Cinerarias sind berühmt, und bestimmte botanische Raritäten, die sie kultivierte, wurden Ende des 19. Jahrhunderts von der Botanical Society of Horticulture prämiert. Ihr Sohn Roberto baute ein Orchideentreibhaus über dem Konservatorium für seine Frau Beatrice Corsini, die letzte Änderung an der prächtigen Residenz Pandolfini.