Podobnie jak wiele innych budynków wzdłuż Arno, Palazzo Vitelli jest wynikiem połączenia i częściowego wyburzenia kilku średniowiecznych torri skrzyniowych, zbudowanych po XI wieku. Najwcześniejsze torri były wykonane z kamienia, ale z XIII wieku cegły były również używane z kamieniem. Zbudowane wzdłuż brzegów rzeki były domami arystokracji Pisanmercantile. W 1081 r. Cesarz Enrico IV upoważnił Pizańczyków do budowy wież mieszkalnych o wysokości do 36 bracci (21 metri) wysokości w tym obszarze; środek ten został jednak prawdopodobnie podjęty w celu uregulowania już istniejącej sytuacji wzdłuż rzeki.
Podczas prac konserwatorskich nad palazzo archeolodzy odkryli pozostałości co najmniej sześciu średniowiecznych torri skrzynek, z których niektóre są nadal częściowo widoczne na wewnętrznym dziedzińcu pałacu, ze studnią i innymi konstrukcjami.
Biura administracji Uniwersytetu w Pizie zajmują obecnie budynek, w którym odbywają się wystawy o charakterze kulturalnym.