Der Palazzo dell'Orologio befindet sich gegenüber der Piazza dei Cavalieri. Archäologen haben entdeckt, dass dieses Gebiet bereits von den Etruskern bewohnt wurde. Der Palazzo wurde im 17. Jahrhundert durch die Verbindung von zwei mittelalterlichen Gebäuden geschaffen, als der Platz umgestaltet wurde. Bis zum 20. Jahrhundert wurden mehrere Änderungen vorgenommen.

Zu Beginn des 14. Jahrhunderts befand sich auf der linken Seite der Palazzo des Capitano del Popolo, und der zu seiner Rechten durch eine Hochbrücke verbundene Turm war der Muda-Turm Die Adler, die von Pisa als Symbol ihrer Macht gezüchtet wurden, wurden (Muda) erbeutet.

Der Turm gehörte der Familie Gualandi. Später wurde es ein Gefängnis, genannt della Fame (Hunger Tower) oder delle sette vie (Seven Ways). Hier starb 1288 der von Dante im 33. Gesang des Infernos gefeierte Graf Ugolino della Gherardesca. In den 1500er Jahren wurde das Gebäude zu einer Krankenstation, die nach dem Titel des Verantwortlichen "Buonuomo" genannt wurde.

In den Jahren 1605-1608 wurden die Gebäude zu einer Einheit zusammengefügt. Die rechte Hälfte wurde um den Torre della Fame herum aufgebaut und die beiden Teile waren durch einen Überkopf verbunden. Die Fassade war mit Fresken verziert, die zumeist verloren gingen, mit Allegorien des Friedens, der Erde, des Überflusses, der Intelligenz, der Herrlichkeit und der Länder, um die gute Regierung der Medici zu feiern. Der Glockenturm wurde 1696 hinzugefügt und bis 1804 war der Palazzo ein Heim für alte Ritter und eine Krankenstation. Es wurde 1919 von Graf Gherardesca gekauft und erneut renoviert, als das neugotische Dachfenster der linken Fassade hinzugefügt wurde.