El Palacio Vitelli, como muchos de los palacios que se asoman al río Arno, es el resultado de la fusión y del abatimiento parcial de una serie de casas-torre medievales, erigidas a partir del siglo XI.
Edificios primero solo de piedra, luego, a partir del siglo XIII, de piedra y ladrillo, se desarrollaban en vertical a lo largo del río Arno y eran la residencia de la aristocracia mercantil pisana. Ya en el año 1081 el emperador Enrique IV permitió a los pisanos edificar en esta zona torres para uso residencial con una altura de hasta 36 brazos (21 metros), pero su disposición había nacido probablemente para solucionar una situación de hecho ya habitual en el área a orillas del río.
Las investigaciones arqueológicas llevadas a cabo durante las obras de restauración del palacio han permitido identificar los restos de al menos seis casas-torre medievales, algunas de las cuales aún son parcialmente visibles en el patio interior del palacio, de un pozo y de otros anexos.
El complejo edilicio, que actualmente es la sede de las oficinas administrativas de la Universidad de Pisa, alberga normalmente exposiciones culturales.