Il palazzo dell'Orologio si affaccia su piazza dei Cavalieri e sorge su un’area abitata a partire dall’età etrusca, come hanno evidenziato alcuni ritrovamenti archeologici. Il palazzo è il risultato dell’accorpamento di due distinte strutture medievali avvenuto nel XVII secolo, nel quadro della risistemazione urbanistica della piazza, e di una serie di modifiche che si sono avvicendate fino al XX secolo, trasformandolo nell’edificio attuale.

A sinistra sorgeva una casa-torre divenuta all’inizio del XIV secolo il Palazzo del Capitano del Popolo e a destra, collegata da un passaggio sopraelevato, sorgeva una torre detta "della Muda" perché durante il periodo della muta (muda) delle penne vi venivano rinchiuse le aquile allevate dal comune di Pisa, simbolo della potenza cittadina.

La torre di proprietà della famiglia Gualandi divenne poi sede del carcere detto della Fame o delle sette vie, nel quale nel 1288 trovò la morte il conte Ugolino della Gherardesca, celebrato da Dante nel XXXIII canto dell'Inferno. Nel Cinquecento, il complesso fu trasformato in infermeria e chiamato del Buonuomo, dal nome della carica che la dirigeva.

Nel 1605-1608 il palazzo assunse la sua forma unitaria: venne ricostruita la porzione destra inglobando la torre della Fame e i due edifici furono collegati da un cavalcavia. La facciata fu decorata con affreschi che celebravano il buongoverno mediceo con le allegorie, in gran parte perdute, della Pace, della Terra, dell’Abbondanza, dell’Intelligenza, della Gloria e dei Paesi. Nel 1696 fu collocata la torretta campanaria e fino al 1804 il palazzo servì da residenza per i cavalieri anziani e da infermeria. Nel 1919 fu acquistato dal conte della Gherardesca e venne nuovamente restaurato, con l'aggiunta della quadrifora neogotica sul lato sinistro della facciata.