Nel corso del XIV secolo le monache domenicane del monastero di S. Croce in Fossabanda, sentendosi minacciate per l’insicurezza del luogo e dei tempi, manifestarono l’esigenza di stabilirsi in un luogo più protetto, all’interno delle mura della città. Così chiesero di trasferirsi nella chiesa di S. Silvestro e nella abitazione contigua, già prioria benedettina dipendente da Montecassino. Le Domenicane ottennero la licenza arcivescovile il 26 ottobre 1332, e vi si trasferirono definitivamente nel 1405 durante l’assedio di Pisa da parte dell’esercito fiorentino.
A partire dal XV secolo le carte del monastero di S. Silvestro restituiscono l’immagine di un complesso in continuo fermento edilizio. I lavori più importanti riguardavano l’ingrandimento del monastero alla metà del XVI secolo. Negli anni Ottanta del XVII secolo si rese necessario un nuovo ingrandimento del circuito monastico che raggiunse le dimensioni testimoniate in una pianta databile al XVIII secolo, con più chiostri: dotati di refettorio, cucine, dormitori, celle per le monache velate e il capitolo e due orti già di proprietà delle monache.
Una radicale trasformazione del complesso si ebbe alla fine del XVIII secolo quando, per volontà del Granduca di Toscana, il convento fu soppresso e trasformato in conservatorio per l’educazione delle fanciulle nobili. Con decreto napoleonico dell’ottobre 1810 fu soppresso il conservatorio e nei locali di S. Silvestro fu istituita un Pensionat Academique come succursale della Scuola Normale di Parigi, entrata in funzione nel 1813. In seguito è stato carcere minorile e poi pensionato studentesco, fino a tornare in tempi recenti ad ospitare alcune attività della Scuola Normale Superiore di Pisa.