Liksom många andra byggnader längs Arno är Palazzo Vitelli resultatet av att förena och delvis riva flera medeltida fall Torri, byggda efter 1100 -talet.Det tidigaste fallet Torri var gjord av sten men från 1200 -talets tegel användes också med sten.Byggt längs flodstränderna var de hem för den pisanmercantile aristokratin.År 1081 bemyndigade kejsaren Enrico IV pisaner att bygga bostadstorn, upp till 36 Braccia (21 metri) hög, i detta område;Denna åtgärd togs dock troligen för att reglera en redan befintlig situation längs floden.
Under restaureringsarbetet på Palazzo upptäckte arkeologer resterna av minst sex medeltida fall Torri, av vilka några fortfarande är delvis synliga i den inre innergården i Palazzo, med en brunn och andra strukturer.
Kontoren för PISA University Administration upptar nu byggnaden som också är värd för utställningar av kulturell karaktär.