Net als vele andere gebouwen langs de Arno, is Palazzo Vitelli het resultaat van het verenigen en gedeeltelijk slopen van verschillende middeleeuwse zaak Torri, gebouwd na de 11e eeuw.De vroegste zaak Torri was gemaakt van steen, maar uit de 13e -eeuwse bakstenen werden ook gebruikt met steen.Gebouwd langs de rivieroevers, waren zij de huizen van de pisanmercantile aristocratie.In 1081 machtigde keizer Enrico IV pisans om woontorens te bouwen, tot 36 braccia (21 metri) lang, in dit gebied;Deze maatregel is echter waarschijnlijk genomen om een ​​reeds bestaande situatie langs de rivier te regulariseren.
Tijdens restauratiewerk aan het Palazzo ontdekten archeologen de overblijfselen van ten minste zes middeleeuwse zaak Torri, waarvan sommige nog steeds gedeeltelijk zichtbaar zijn op de binnenplaats van het Palazzo, met een put en andere structuren.
De kantoren van de Pisa University Administration bezetten nu het gebouw dat ook tentoonstellingen van cultureel karakter organiseert.