Budynek, zbudowany w połowie XVIII wieku, początkowo mieścił arsenał wojskowy.

Zaprojektowany przez księcia Francesco III d'Este, w którym mieści się Generalny Dom Ubogich, został w 1769 r. odnowiony przez Pietro Termaniniego. W 1788 r. został przekształcony w Dom Rzemiosła, aw budynku urządzono prace i fabryki. Po renowacji w budynku mieścił się szpital wojskowy, więzienie i zakwaterowanie oficerów; w 1828 r. otrzymał Muzeum Lapidarium założone przez księcia Francesco IV z Austrii-Este.

Zjednoczenie Włoch wyznaczyło nowy etap w historii budynku, który został częściowo zakupiony przez Administrację Publiczną w 1881 r., w celu ponownego połączenia zbiorów sztuki i bibliografii pozostawionych przez Este w mieście i obywatelskim i instytucje kulturalne.

Na parterze Muzeum Pałacowego, na północnym dziedzińcu, znajduje się przyjęcie dla wszystkich instytucji kulturalnych w budynku, to jest:
- Archiwum historyczne
- Biblioteka Estense
- Miejskie Muzeum Sztuki
- Miejskie Muzeum Archeologii i Etnologii
- Galeria Este
- Biblioteka Publiczna Sztuki „Luigi Poletti”.