Кастелло д'Эсте (замок Эсте) был построен Убертино, синьором Падуи, начиная с 1338 года, на руинах замка 11-го века Альберто Аззо II д'Эсте. Казалось бы неприступным, замок Аззо был разрушен в результате предательства Виталиано ди Арольды, который открыл ворота тирану Эзцелино да Романо. Затем он был восстановлен по приказу Коммуны Падуи, но в 1317 году Кангранде делла Скала из Вероны уничтожил его только во второй раз. В 1337 году Марсилио да Каррара, которому помогли Венеция и Флоренция, вновь захватил Кастелло д'Эсте. Убертино да Каррара на пылающей тележке поднял эти новые стены, чтобы обезопасить сон Республики Падуя ». В 1343 году Убертино увеличил ров, превратив его в судоходный канал между Эсте и Монтаньяна. Франческо Новелло договорился о женитьбе своей дочери Джильолы с Николь д'Эсте, чтобы укрепить союз двух домов, в 1397 году, договоренность, которая продолжалась до падения каррарезской синьории, когда Эсте принял преданность Венеции. Комплекс замка представляет собой внушительный многоугольник из 18 неравных сторон. Он простирается на четыре гектара, с периметром более 2000 метров. Небольшие башни, открытые изнутри, шарнирно соединялись между различными сторонами периметральной стены. У замка были главные ворота, которые больше не сохранились, и вторые ворота в Соккорсо (Убежище), который был фактически меньшим замком внутри большего. Река Сироне, которая проходила под стенами, обеспечивала постоянную подачу воды даже в случае осады. Наиболее важной стратегической частью, о которой осталось мало знаний, была внутренняя крепость с 20-метровой высотой, возможно, когда-то окруженная оборонительной стеной. Городские стены Эсте относятся к венецианской эпохе.