Dit paleis, een van de eersten die in de noordwestelijke hoek van de ommuurde stad aan het einde van Thefirenze, Palazzo Pandolfini, Il Giardino Decorato Da Standue 15e eeuw, had gebouwd, had een kleine "Garden of Delights" en een grotere groentetuin en een grotere groentetuin..Vasari schrijft dat het gebouw opnieuw is ontworpen door Raphael, waarschijnlijk in 1514, voor de bisschop Giannozzo Pandolfini.De tuin en het paleis waren verfraaid met beelden, fonteinen en waterdisplays - geschenken van paus Leo X - en zo'n grote hoeveelheid bloemen en planten dat het paleis een behoorlijk centrum van cultuur werd ten tijde van Ferrante (ca. 1550),Filippo (ca. 1600), Roberto (ca. 1750) en andere leden van de familie.In de late 18e eeuw zou de zogenaamde "Palace Branch" van de familie Pandolfini zijn uitgestorven als Eleonora, dochter van Agnolo, haar neef Alessio niet had geadopteerd.Via Eleonora, die een bril had gebouwd om haar verzameling sierplanten in de winter te bedwingen, genoot het paleis van een nieuw leven van het leven en organiseerde het opnieuw kunstenaars en mannen van brieven zoals in de Renaissance.Van 1870 tot rond 1885 ging Alessio verder met de renovatie van het gebouw;Dit restauratieschema werd gevolgd door nog twee, in 1954-1956 en in 1994-1996 door Filippo Pandolfini, vader van de huidige eigenaren Roberto en Niccolò.De tuin die door Eleonora was getransformeerd in een "romantische tuin in Engelse stijl" keerde terug naar zijn oorspronkelijke pracht via de vrouw van graaf Alessio, Sofronia Stibbert, die ook een deskundige tuinman werd.Haar collecties van Camellias en Cinerarias zijn beroemd, en bepaalde botanische zeldzaamheid die ze cultiveerde, kregen in de late 19e eeuw prijzen toegekend door de Botanical Society of Horticulture.Haar zoon Roberto bouwde een orchidee boven het conservatorium voor zijn vrouw Beatrice Corsini, de laatste wijziging aangebracht in de prachtige residentie van Pandolfini.