Der Palazzo wurde durch die Verbindung mehrerer mittelalterlicher Gebäude, darunter mindestens vier Lofts, vier Werkstätten und ein Turm, in einen Palast umgewandelt. Er wurde zwischen dem späten 14. und frühen 15. Jahrhundert erbaut, jedoch nur von Mariano und Pietro Agostini erworben , Seidenhändler, im Jahre 1496, der ihr den Namen gab. Die Fassade ist vollständig mit gotischen Terrakotta-Formteilen, Pflanzen-, Menschenkopf- und heraldischen Formen mit Doppel- und Dreifachverglasung verkleidet, und die offene Loggia (später geschlossen) im Dachgeschoss macht sie zu einer der schönsten wichtigste Beispiele der gotischen Architektur in der Toskana. Die Verwendung von Terrakotta ist wahrscheinlich auf den Handel der Familie Astai zurückzuführen, der Ziegelmacher, die den Palazzo bis zum 15. Jahrhundert besaßen. Das Dach wurde während der Renovierung im Jahr 1895 hinzugefügt. Auf Straßenebene befindet sich das Caffè dell’Ussero, das 1775 gegründet wurde (der Palazzo ist in Pisa auch als Palazzo dell’Ussero bekannt); Es war der Treffpunkt berühmter Wissenschaftler und gelehrter Italiener und Ausländer. Im Jahr 1839 wurde der erste Kongress italienischer Wissenschaftler im Caffè abgehalten, und es ist immer noch der Sitz der Accademia Nazionale dell’Ussero. Es wurde 1944 von den Amerikanern in Auftrag gegeben und 1959 renoviert und wiedereröffnet. Hinter dem Palazzo befindet sich ein hängender Garten mit Zitrusfrüchten, der im 15. Jahrhundert erwähnt wurde, und das Kino Lumìere, eines der ältesten Kinos in Italien, 1905 in einem Teil des Caffè eröffnet, und der mittelalterlichen Kirche Sant'Ilario in Porta Aurea.