Stejně jako mnoho jiných budov podél ARNO je Palazzo Vitelli výsledkem sjednocení a částečně zbourání několika středověkých případů Torri, postavených po 11. století.Nejstarší případ byl Torri vyroben z kamene, ale z cihel ze 13. století byly také použity s kamenem.Postaveni podél břehů řeky, byli domovy pisanmercantilní aristokracie.V roce 1081 císař Enrico IV povolil Pisany k stavbě obytných věží, až 36 vysokých Braccia (21 metri);Toto opatření však bylo pravděpodobně přijato k regularizaci již existující situace podél řeky.
Během restaurátorských prací na Palazzo archeologové objevili zbytky nejméně šesti středověkých případů Torri, z nichž některé jsou stále částečně viditelné na vnitřním nádvoří Palazzo se studnou a dalšími strukturami.
Kanceláře správy univerzity Pisa nyní zabírají budovu, která také pořádá výstavy kulturní povahy.