La Specola è uno dei simboli più rappresentativi della città e della sua storia: l'alta torre ricorda infatti la tirannia di Ezzelino III da Romano che nel 1242 aveva edificato un castello con due torri di cui la maggiore, come narrano le cronache del tempo, era il luogo in cui il tiranno teneva rinchiusi e torturava i suoi prigionieri.

I successivi signori di Padova, i Carrara, nel 1374 costruirono un nuovo castello-fortificazione sui resti del vecchio come baluardo difensivo e splendido edificio decorato all'interno e all'esterno.
Il 21 maggio 1761 il Senato della Repubblica di Venezia emanava un decreto con il quale istituiva un osservatorio astronomico all'Università di Padova, da adibire anche a luogo di addestramento dei futuri astronomi.
Soltanto quattro anni dopo, nel settembre del 1765, si affidava l'incarico al professore di astronomia, geografia e meteore, l'abate Giuseppe Toaldo (1719-1797), di visitare i principali osservatori italiani per informarsi sulla struttura dell'edificio e sui principali strumenti necessari all'attività dell'astronomo.
Al ritorno da questa indagine, Toaldo, dopo aver presentato il progetto, nel dicembre dello stesso anno fece venire da Vicenza l'architetto don Domenico Cerato (1715-1792), amico e compagno di studi nel Seminario vescovile di Padova e uno dei più abili architetti del tempo.
Toaldo propose di utilizzare la Torre alta del Castel Vecchio per le sue grosse e solide mura e per la sua collocazione all'interno della città, ideale per l'osservazione astronomica. In particolare, la Torre era idonea perché consentiva un'ottima osservazione verso sud, ovvero verso il meridiano celeste, punto cruciale per lo studio del moto degli astri.
E fu così che, dopo dieci anni di lavori, nel 1777 la Torre divenne Osservatorio  astronomico, ovvero "specula astronomica" secondo la dicitura latina.
L'interno della torre fu ristrutturato per l'uso delle osservazioni astronomiche e fu diviso in due parti: una parte inferiore, a 16 metri dal suolo sulla parete est, in cui fu costruita la Sala Meridiana per le osservazioni al meridiano celeste, e una parte superiore, a 35 metri dal suolo nella zona delle merlature, ove fu costituita un'alta sala con alte finestre, la Sala delle Figure, per osservare la volta celeste da ogni angolazione con cannocchiali di vario tipo utilizzando anche la terrazza adiacente.
Era stata inoltre costruita una terrazza sopra la sala meridiana per gli studi di meteorologia.
In seguito la Specola subì rimodernamenti, sia della strumentazione, sia della struttura, come l'aggiunta di una terza cupola nell'Ottocento o l'edificazione di un padiglione nuovo sul bastione adiacente per accogliere il rifrattore di Mertz.
Nell'archivio storico dell'Osservatorio sono ancora conservati gli antichi registri delle osservazioni astronomiche e la biblioteca.
La nuova specola, una delle più belle nell'Europa del Settecento, fu visitata da illustri personaggi, come il poeta e drammaturgo tedesco Johann Wolfgang Goethe, che nel 1786 descrisse nel suo diario di viaggio lo splendido panorama che poté ammirare dall'alto della torre dell'Osservatorio.