Het gebouw, gebouwd in het midden van de achttiende eeuw, huisvestte aanvankelijk het militaire arsenaal.

Ontworpen door de hertog Francesco III d'Este om het algemene huis van de Poors te huisvesten, werd gerenoveerd door Pietro Termanini in 1769. In 1788 werd het in het huis van het ambachten veranderd en in het gebouw waren opgezetWerken en fabrieken.Na de restauratie huisvestte het gebouw een militair ziekenhuis, een gevangenis en accommodatie van officieren;In 1828 ontving het LaPidary Museum opgezet door de hertog Francesco IV van Oostenrijk-eSte.

Italiaanse eenwording betekende een nieuw stadium in de geschiedenis van het gebouw, dat gedeeltelijk werd gekocht door het openbaar bestuur in 1881, om de kunst en bibliografische collecties te herenigen die door de Este naar de stad en de Civic zijn achtergelaten, en de Civicen culturele instellingen.

Op de begane grond van het Palace Museum, in de noordelijke binnenplaats, is er een receptie voor alle culturele instellingen die in het gebouw zijn georganiseerd, dat wil zeggen:
- Historische archieven
- ESTENSE LIBLIOTHEEK
- Gemeentelijk Museum of Art
- Municipal Museum of Archaeology and Ethnology
- Este Gallery
- Public Library of Art "Luigi Poletti".