Trasformato in palazzo accorpando una serie di edifici medievali, tra i quali i documenti nominano almeno quattro solai, quattro botteghe ed una torre, il palazzo fu realizzato tra la fine del XIV e gli inizi del XV secolo, e solo nel 1496 fu acquistato da Mariano e Pietro Agostini, commercianti di seta, da cui prende il nome.
Per la sua facciata interamente decorata con elementi in cotto con temi fitomorfi, antropomorfi e araldici, e per le caratteristiche bifore e trifore che ne scandiscono gli spazi, nonché per la loggia aperta, poi tamponata, che occupava l’ultimo piano, è uno dei principali esempi di architettura gotica civile in toscana. L’utilizzo del laterizio forse si deve alle attività commerciali della famiglia Astai, produttrice di mattoni e proprietaria del palazzo fino al XV secolo. La tettoia sommitale fu aggiunta durante i restauri eseguiti nel 1895.
Il piano terra attualmente ospita il Caffè dell’Ussero (dal quale il più comune nome pisano di Palazzo dell’Ussero), fondato nel 1775 e ritrovo di illustri scienziati e uomini di cultura italiani e stranieri. Il Caffè fu sede del primo Congresso Italiano degli Scienziati nel 1839 e ancora oggi ospita l’Accademia Nazionale dell’Ussero. Requisito dagli americani nel 1944, fu restaurato e riaperto nel 1959.
Il retro del palazzo, oltre ad un giardino pensile di agrumi già menzionato nel XV secolo, ospita il Cinema Lumìere, uno dei più antichi cinema italiani ancora in esercizio, aperto nel 1905 in parte dei locali ristrutturati del Caffè e della chiesa medievale di Sant’Ilario in Porta Aurea. Il cinema è tuttora attivo e visitabile tramite l’accesso situato nel vicolo dei Tidi.