Byggnaden, byggd i mitten av åttonde århundradet, höll initialt militärarsenal.

designad av hertigen Francesco III d'Este för att hysa Poors General House, renoverades av Pietro Termanini 1769. 1788 förvandlades det till hantverkets hus och in i byggnaden inrättadesverk och fabriker.Efter restaureringen höll byggnaden ett militärsjukhus, ett fängelse och boende för officerare;1828 fick Lapidary Museum inrättat av Duke Francesco IV i Österrike-ES.

Italiensk enhet markerade en ny scen i byggnadens historia, som delvis köptes av den offentliga förvaltningen 1881 för att återförena konsten och bibliografiska samlingar som lämnats av Este till staden och medborgarenoch kulturinstitutioner.

På bottenvåningen i Palace Museum, i norra gården, finns det en mottagning för alla kulturinstitut som är värd för byggnaden, det vill säga:
- Historiska arkiv
- Estense Library
- Municipal Museum of Art
- Municipal Museum of Archaeology and Ethnology
- Este Gallery
- Public Library of Art "Luigi Poletti".