El Palacio del Reloj se asoma a la Plaza de los Caballeros y surge en un área habitada a partir de la época etrusca, como han evidenciado algunos hallazgos arqueológicos. El palacio es el resultado de la fusión, en el siglo XX, de dos estructuras medievales distintas, en el marco de la reorganización urbanística de la plaza, y de una serie de modificaciones que han tenido lugar hasta el siglo XX, transformándolo en el edifico actual.
A la izquierda surgía una casa-torre que a principios del siglo XIV se convirtió en el Palacio del Capitán del Pueblo. A la derecha, conectada por un paso elevado, surgía la torre llamada della Muda, porque durante el período de la muda de las plumas se encerraba allí a las águilas criadas por el Ayuntamiento de Pisa, símbolo del poder ciudadano.
La torre, de propiedad de la familia Gualandi, se convirtió luego en sede de la cárcel llamada del Hambre o de las Siete Calles, donde en 1288 murió Ugolino della Gherardesca, celebrado por Dante en el XXXIII Canto del Infierno. En el siglo XVI el complejo fue transformado en enfermería y llamado del Buonuomo, por el nombre del cargo que la dirigía.
En 1605-1608 el palacio asumió su forma unitaria: se reconstruyó la sección derecha englobando la Torre del Hambre y los dos edificios fueron conectados por un paso elevado. La fachada fue decorada con frescos que celebraban el buen gobierno de los Medici con las alegorías, en gran parte perdidas, de la Paz, de la Tierra, de la Abundancia, de la Inteligencia, de la Gloria y de los Países. En 1696 se colocó la torrecilla campanaria y hasta 1804 el palacio sirvió de residencia y enfermería para los caballeros ancianos. En 1919 fue comprado por el Conde della Gherardesca y nuevamente restaurado, incorporando la cuadrífora neogótica en el lado izquierdo de la fachada.