Wie viele andere Gebäude am Arno ist auch der Palazzo Vitelli das Ergebnis der Vereinigung und teilweiser Zerstörung mehrerer mittelalterlicher Torri aus dem 11. Jahrhundert. Der früheste Fall Torri bestand aus Stein, aber aus dem 13. Jahrhundert wurden auch Ziegelsteine ​​mit Stein verwendet. Sie wurden entlang des Flussufers erbaut und waren das Zuhause der Pisanmercantile-Aristokratie. Im Jahre 1081 erlaubte Kaiser Enrico IV. Pisans, in diesem Bereich bis zu 36 Braccia (21 m) große Türme zu errichten; Diese Maßnahme wurde jedoch wahrscheinlich getroffen, um eine bereits bestehende Situation entlang des Flusses zu regulieren.
Bei der Restaurierung des Palazzo entdeckten Archäologen die Überreste von mindestens sechs mittelalterlichen Falltorri, von denen einige noch teilweise im Innenhof des Palazzos sichtbar sind, mit einem Brunnen und anderen Strukturen.
Die Büros der Universitätsverwaltung von Pisa befinden sich jetzt in dem Gebäude, in dem auch Ausstellungen mit kulturellem Charakter untergebracht sind.