Transformado em um Palazzo, juntando -se a vários edifícios medievais, entre os quais os documentos mencionam pelo menos quatro lofts, quatro oficinas e uma torre, esse palazzo foi construído entre o final do século XIV e o início do século XV, mas foi adquirido apenas por Mariano e Pietro Agostini, comerciantes de seda, em 1496, que deram o nome.
A fachada, totalmente vestida em molduras góticas de terracota, nas formas de plantas, cabeças humanas e desenhos heráldicos, com janelas mullionadas duplas e triplas, e a loggia aberta (posteriormente fechada) no andar superior, faz com que seja uma dasExemplos mais importantes da arquitetura gótica doméstica na Toscana.O uso de terracota é provavelmente devido ao comércio da família Astai, os Brickmakers, que possuíam o Palazzo até o século XV.O telhado foi adicionado durante a reforma em 1895.

No nível da rua está o Caffè Dell'Usero fundado em 1775 (o Palazzo também é conhecido em Pisa como Palazzo dell'Usero);Era o local de encontro de cientistas famosos e italianos e estrangeiros eruditos.Em 1839, o Primeiro Congresso de Cientistas Italianos foi realizado no Caffè, e ainda é a sede da Accademia Nazionale dell'ussero.Foi requisito pelos americanos em 1944 e reformado e reaberto em 1959.

Atrás do Palazzo há um jardim suspenso com frutas cítricas, mencionadas no século XVII, e o cinema lumìre, um dos cinemas mais antigosNa Itália, inaugurado em 1905 em parte do Caffè e na Igreja Medieval de Sant'ilario, em Porta Aurea.