O edifício, construído em meados do século XVIII, abrigava inicialmente o arsenal militar.

Projetado pelo Duke Francesco III d'Este para abrigar a casa geral dos Poors, foi reformado por Pietro Termanini em 1769. Em 1788, foi transformada na casa dos artesanato e no edifício foi montadaobras e fábricas.Após a restauração, o prédio abrigava um hospital militar, uma prisão e acomodação de oficiais;Em 1828, recebeu o Museu Lapidário criado pelo Duke Francesco IV da Áustria-Este.

A unificação italiana marcou um novo estágio na história do edifício, que foi parcialmente comprado pela administração pública em 1881, a fim de reunir as coleções de arte e bibliográfica deixadas pelo Este à cidade, e o Civice instituições culturais.

No térreo do Museu do Palácio, no pátio do norte, há uma recepção para todas as instituições culturais hospedadas no edifício, ou seja:
- Arquivos Históricos
- Biblioteca de Estense
- Museu Municipal de Arte
- Museu Municipal de Arqueologia e Etnologia
- Este Galeria
- Biblioteca Pública de Arte "Luigi Poletti".