Como muchos otros edificios a lo largo del Arno, el Palazzo Vitelli es el resultado de unir y demoler en parte varios torri de casos medievales, construidos después del siglo XI. Los primeros casos de torri fueron hechos de piedra, pero a partir del siglo XIII los ladrillos también se usaron con piedra. Construidos a lo largo de las orillas del río, eran las casas de la aristocracia pisanmercantile. En 1081, el emperador Enrico IV autorizó a los pisanos a construir torres residenciales de hasta 36 braccias (21 metros) de altura en esta área; esta medida, sin embargo, probablemente se tomó para regularizar una situación ya existente a lo largo del río.
Durante los trabajos de restauración en el palacio, los arqueólogos descubrieron los restos de al menos seis torri de casos medievales, algunos de los cuales aún son parcialmente visibles en el patio interior del palacio, con un pozo y otras estructuras.
Las oficinas de la administración de la Universidad de Pisa ahora ocupan el edificio que también alberga exposiciones de carácter cultural.