Palazzo dell'Orologio wychodzi na piazza dei Cavalieri. Archeolodzy odkryli, że obszar ten był już zamieszkany przez Etrusków. Palazzo powstało w XVII wieku poprzez połączenie dwóch średniowiecznych budynków, kiedy plac został ponownie stylizowany i przeszedł kilka innych zmian do XX wieku.

Na początku XIV wieku casa torre po lewej była Palazzo Capitano del Popolo, a po prawej, połączona z nią mostem napowietrznym, znajdowała się wieża Muda, tzw. orły, wyhodowane przez Pizę jako symbol jej mocy, wyliniały (muda) były tu trzymane.

Wieża należała do rodziny Gualandi. Później stał się więzieniem zwanym della Fame (Wieża Głodu) lub delle sette vie (Siedem sposobów). Hrabia Ugolino della Gherardesca, obchodzony przez Dantego w 33. piekle Piekła, zmarł tu w 1288 roku. W XVI wieku budynek stał się szpitalem, zwanym „Buonuomo” z tytułu osoby odpowiedzialnej.

W latach 1605-1608 budynki zostały wykonane w jedną całość; prawa połowa została odbudowana wokół Torre della Fame, a dwie części połączone były górnym przejściem. Fasada została ozdobiona freskami, obecnie w większości utraconymi, z alegoriami Pokoju, Ziemi, Obfitości, Inteligencji, Chwały i Krajów, aby uczcić dobry rząd Medici. Dzwonnica została dodana w 1696 r., A do 1804 r. Palazzo było domem dla starszych rycerzy i ambulatorium. Został kupiony przez hrabiego Gherardesca w 1919 r. I ponownie odnowiony, gdy neogotyckie okno mullioned zostało dodane do lewej fasady.