El Palazzo dell'Orologio se enfrenta a la piazza dei Cavalieri. Los arqueólogos han descubierto que esta zona ya estaba habitada por los etruscos. El palacio fue creado en el siglo XVII al vincular dos edificios medievales, cuando la plaza fue remodelada, y sufrió otras alteraciones hasta el siglo XX.

A principios del siglo XIV, la casa torre a la izquierda era el Palazzo del Capitano del Popolo y el de la derecha, conectado a él por un puente elevado, era la torre Muda, llamada así porque cuando las águilas, criadas por Pisa como símbolo de su poder, mudaron (muda) que se mantuvieron aquí.

La torre perteneció a la familia Gualandi. Más tarde se convirtió en una prisión, llamada della Fame (Torre del Hambre) o delle sette vie (Seven Ways). El conde Ugolino della Gherardesca, celebrado por Dante en el canto 33 del Infierno, murió aquí en 1288. En la década de 1500, el edificio se convirtió en una enfermería, llamada "Buonuomo" del título de la persona a cargo.

En 1605-1608 los edificios se convirtieron en una sola unidad; la mitad derecha fue reconstruida alrededor de la Torre della Fame y las dos partes estaban conectadas por un pasaje elevado. La fachada estaba decorada con frescos, ahora en su mayoría perdidos, con alegorías de la Paz, la Tierra, la Abundancia, la Inteligencia, la Gloria y las Tierras para celebrar el buen gobierno de los Medici. El campanario se agregó en 1696 y hasta 1804, el palacio era un hogar para caballeros de edad y una enfermería. Fue comprado por el conde Gherardesca en 1919 y se renovó una vez más, cuando se agregó a la fachada izquierda la ventana de estilo neogótico.