Различные документы, датированные 1062-1102 годами, дают первые указания на башню, расположенную в точке разделения вод, которые текут вокруг города. Он назывался Турлонга (Длинная башня) и был почти наверняка построен между 9 и 10 веками как основной пункт обороны, но также и как символ власти епископа над городом. Традиция 16-го века гласила, что Эзцелино да Романо построил две башни, большую западную и меньшую к востоку, под названием Зилие, от имени архитектора-строителя Зилио, и что обе башни должны были служить ужасными тюрьмами для те, кто против его режима. Две башни с башенками, выкрашенные в красно-белые чеки, видны на фресках, написанных Джусто де Менабуои в 1382 году для часовни Конти в церкви Святого Антония. Фактический строитель двух башен неизвестен, и большая из них, Торлонга, была фактически поднята с меньшей сторожевой башни X-XI веков. Стратиграфические исследования показывают, что нижняя часть того, что сейчас называется Спецола, высотой в девять метров состоит из трехметровых стен старой башни. Поднятая часть с зубцами и отверстиями для сбрасывания масла или предметов относится к периоду Каррареси. Археологические исследования также выявили наличие второго укрепления, которое последовало вдоль берега реки. Это крепость, видимая на фреске Джусто, которая предшествует строительству городских стен. Это была своего рода стена, которая защищала северную и восточную стороны Торлонга, где река не обеспечивала защиты. Реставрационные работы в 1980-х и 1990-х годах выявили внутреннее убранство, которым командовал Франческо Старший. Зал с большой телегой (символом Каррареси), комната для попугаев и еще одна комната с инициалами синьора - все это свидетельствует о изысканной и культурной атмосфере двора Каррареси. После венецианского завоевания Торлонга был превращен в магазин боеприпасов. 21 марта 1767 года эти магазины были убраны, и начались дальнейшие работы по адаптации башни под новую Астрономическую обсерваторию. Нынешний облик верхней части Спецолы (смотровой башни) с обсерваториями обусловлен реконструкцией, проведенной аббатом Доменико Серато, и дальнейшими событиями 1800-х годов.