Budova, postavená v polovině osmnáctého století, byla původně umístěna vojenským arzenálem.

Navrhl vévoda Francesco III D'Este, aby ubytoval obecný dům poors, byl zrekonstruován Pietro Termanini v roce 1769. V roce 1788 byl zřízen v domě řemesel a do budovy a budova byl zřízenPráce a továrny.Po obnově byla budova umístěna vojenskou nemocnici, vězení a ubytování důstojníků;V roce 1828 obdržel lapidární muzeum zřízené vévodou Francesco IV z Rakouska-Este.

Italské sjednocení znamenalo novou fázi v historii budovy, která byla částečně zakoupena veřejnou správou v roce 1881, aby se znovu spojily umění a bibliografické sbírky, které zbyl Este do města, a Civica kulturní instituce.

V přízemí palácového muzea na severním nádvoří existuje recepce pro všechny kulturní instituce hostované do budovy, tj.:
- Historické archivy
- Estense Library
- Municipal Museum of Art
- Obecní muzeum archeologie a etnologie
- Este Gallery
- veřejná knihovna umění „Luigi Poletti“.