Das Gebäude wurde Mitte des 18. Jahrhunderts errichtet und beherbergte zunächst das militärische Arsenal.

Entworfen von Herzog Francesco III d'Este für das Generalhaus der Armen, wurde 1769 von Pietro Termanini renoviert. 1788 wurde es in das Haus des Handwerks umgewandelt und das Gebäude wurde errichtet Werke und Fabriken. Nach der Restaurierung beherbergte das Gebäude ein Militärkrankenhaus, ein Gefängnis und eine Unterbringung von Offizieren. 1828 erhielt das von Herzog Francesco IV. von Österreich-Este eingerichtete Lapidarium.

Die Vereinigung Italiens markierte eine neue Etappe in der Geschichte des Gebäudes, das 1881 von der öffentlichen Verwaltung teilweise erworben wurde, um die von der Este hinterlassenen Kunst- und Bibliographiesammlungen der Stadt wieder zusammenzubringen, und die Stadtverwaltung und kulturelle Einrichtungen.

Im Erdgeschoss des Palastmuseums im nördlichen Innenhof gibt es einen Empfang für alle im Gebäude untergebrachten kulturellen Einrichtungen, dh:
- Historisches Archiv
- Estense-Bibliothek
- Städtisches Kunstmuseum - Städtisches Museum für Archäologie und Ethnologie - Este Gallery
- Öffentliche Kunstbibliothek "Luigi Poletti".