A lo largo del siglo XIV las monjas Dominicas del Monasterio de S. Croce in Fossabanda, sintiéndose amenazadas por la inseguridad del lugar y de los tiempos, manifestaron la exigencia de establecerse en un lugar más protegido, dentro de los muros de la ciudad. Por eso pidieron trasladarse a la Iglesia de San Silvestre y a la residencia contigua, antiguo priorato Benedictino dependiente de Montecassino. Las Dominicas obtuvieron la licencia arzobispal el 26 de octubre de 1332, y se trasladaron definitivamente en 1405, durante el asedio de Pisa por parte del ejército florentino.
A partir del siglo XV los mapas del Monasterio de San Silvestre restituyeron la imagen de un complejo en continuo fermento edilicio. Las obras más importantes correspondieron a la ampliación del monasterio a mediados del siglo XVI. En los años ochenta del siglo XVII fue necesaria una nueva ampliación del circuito monástico, que alcanzó las dimensiones atestiguadas en una planta que se remonta al siglo XVIII, con varios claustros dotados de refectorio, cocinas, dormitorios, celdas para las monjas veladas, el cabildo y dos jardines de propiedad de las monjas.
Una radical transformación del complejo tuvo lugar a finales del siglo XVIII, cuando por voluntad del Gran Duque de Toscana, el convento fue suprimido y transformado en conservatorio para la educación de las muchachas jóvenes. A través de un decreto napoleónico de octubre de 1810 fue suprimido el conservatorio y en los locales de San Silvestre fue instituida una Pensionat Academique como sucursal de la Escuela Normal de París, que empezó a funcionar en 1813. Más adelante fue una cárcel para menores y luego una residencia de estudiantes, hasta volver a acoger algunas actividades de la Escuela Normal Superior de Pisa.