Getransformeerd in een palazzo door samen verschillende middeleeuwse gebouwen samen te voegen, waaronder documenten vermelden ten minste vier lofts, vier workshops en een toren, dit palazzo werd gebouwd tussen de late 14e eeuw en vroege 15e eeuw, maar werd alleen overgenomen door Mariano en Pietro Agostini, Silk Merchants, in 1496, die het zijn naam gaf.
De gevel, volledig gekleed in gotische terracotta -lijstwerk, in de vormen van planten, menselijke hoofden en heraldische ontwerpen, met dubbele en drievoudDe belangrijkste voorbeelden van binnenlandse gotische architectuur in Toscane.Het gebruik van terracotta is waarschijnlijk te wijten aan de handel in de familie Astai, brickmakers, die het Palazzo bezaten tot de 15e eeuw.Het dak werd toegevoegd tijdens de renovatie in 1895.

Op straatniveau is de Caffè Dell’usso opgericht in 1775 (het Palazzo is ook bekend in Pisa als Palazzo Dell’usso);Het was de ontmoetingsplaats van beroemde wetenschappers en erudiete Italianen en buitenlanders.In 1839 werd het eerste congres van Italiaanse wetenschappers gehouden in de caffè, en het is nog steeds de zetel van de Accademia Nazionale Dell’usso.Het werd in 1944 door de Amerikanen gevraagd en gerenoveerd en opnieuw geopend in 1959.

Achter het palazzo staat een hangende tuin met citrusvruchten, genoemd in de 15e eeuw, en de bioscoopluumìere, een van de oudste bioscopen, een van de oudste bioscopen, een van de oudste bioscopen, een van de oudste bioscopenin Italië, geopend in 1905 in een deel van de caffè en de middeleeuwse kerk van Sant'ilario in Porta Aurea.