Transformado en palacio fusionando una serie de edificios medievales, entre los cuales los documentos citan al menos cuatro desvanes, cuatro tiendas y una torre, el palacio fue construido entre finales del siglo XIV y principios del siglo XV, y no fue hasta 1496 cuando fue adquirido por Mariano y Pietro Agostini, comerciantes de seda, de donde tomó el nombre.
Por su fachada completamente decorada con elementos de barro con temas fitomorfos, antropomorfos y heráldicos, por las características bíforas y tríforas que marcan los espacios, así como por la galería abierta, luego tapada, que ocupaba la última planta, es uno de los principales ejemplos de arquitectura gótica civil toscana. El uso del ladrillo se debe posiblemente a las actividades comerciales de la familia Astai, productora de ladrillos y propietaria del palacio hasta el siglo XV. La techumbre en la parte superior fue añadida durante las restauraciones de 1895.
La planta baja alberga actualmente el Caffè dell’Ussero (cuyo nombre pisano más común es Palazzo dell’Ussero), fundado en 1775 y punto de encuentro de ilustres científicos y hombres de cultura italianos y extranjeros. Dicho café fue sede del Primer Congreso de Científicos Italianos en 1839 y aún hoy alberga la Academia Nacional del Ussero. Requisado por los americanos en 1944, fue restaurado y reabierto en 1959.
La parte trasera del palacio, además de un jardín pensil citrícola ya mencionado en el siglo XV, alberga el cine Lumière, uno de los cines italianos en funcionamiento más antiguos, abierto en 1905 en parte de los locales reestructurados del café y de la iglesia medieval de Sant’Ilario in Porta Aurea. El cine sigue en funcionamiento y puede visitarse accediendo por Vicolo dei Tidi.