Здание, построенное в середине восемнадцатого века, изначально размещало военный арсенал.

Спроектированный герцогом Франческо III д'Эсте для размещения Главного дома бедных, был реконструирован Пьетро Терманини в 1769 году. В 1788 году он был превращен в Дом ремесел и в здание были созданы работы и заводы. После реставрации в здании разместились военный госпиталь, тюрьма и помещение для офицеров; В 1828 году получил Музей Лапидариев, созданный герцогом Франческо IV Австрийским-Эсте.

Итальянское объединение ознаменовало новый этап в истории здания, которое было частично куплено Государственной администрацией в 1881 году, чтобы воссоздать художественные и библиографические коллекции, оставленные Эсте в городе, и гражданское общество. и культурные учреждения.

На первом этаже Дворцового музея, в северном дворе, находится приемная для всех культурных учреждений, размещенных в здании, а именно:
- Исторический архив
- Estense Library
- Городской художественный музей
- Городской музей археологии и этнологии
- Este Gallery
- Публичная художественная библиотека "Луиджи Полетти".