El Jardín Scotto representa el último destino de un área de Pisa objeto de continuas transformaciones, como demuestran también los resultados de las recientes excavaciones arqueológicas llevadas a cabo en este lugar. Es probable que la zona ya estuviera parcialmente ocupada en la época romana, por limitar con el recorrido de Via Aemilia Scauri. Abandonada durante toda la Alta Edad Media, fue elegida en el año 1095 para la fundación de la Iglesia de S. Andrea in Chinzica. En el siglo XIII se distinguió como área artesanal ligada a la producción de cerámica, de ahí el nombre medieval de Baractularia, mientras que a lo largo del siglo XIV se instalaron una seria de estructuras utilizadas para fundir campanas de bronce, actividad en la que los maestros pisanos destacaban.
En el siglo XV, tras la conquista de la ciudad, los florentinos decidieron construir una ciudadela fortificada (1440-75), proyectada con la participación de Brunelleschi y destinada al control de los ciudadanos pisanos. La construcción, de la cual se conservan las dos torres semicirculares y el muro de piedra inclinado al oeste, reutilizó parte de los muros medievales de la ciudad y comportó la completa destrucción del barrio preexistente.
En 1495 los pisanos insurrectos destruyeron parcialmente la fortaleza. Entre 1509 y 1512, tras la segunda conquista florentina, Antonio da Sangallo utilizó parte de la fortaleza precedente y construyó un nuevo fuerte en forma de estrella al sur, que aún puede verse desde la Plaza Guerrazzi, y un bastión sobre el río Arno.
La fortaleza fue desmantelada en 1785 y en el lugar del bastión se construyó un palacio nobiliario que pronto pasó a ser propiedad de Domenico Scotto, de quien tomó el nombre y quien destinó la parte trasera de la fortaleza a jardín privado. En 1936, cuando el palacio se convirtió en Comisaría Real, el parque fue donado a los ciudadanos por los últimos herederos.