L'edificio sorto alla metà del XVIII secolo, ospitava inizialmente l'arsenale militare.

Destinato da Francesco III d'Este ad accogliere il Grande Albergo Generale dei Poveri, fu ristrutturato su progetto di Pietro Termanini e nel 1769 era già fruibile. Nel 1788 l'Albergo dei Poveri fu tramutato in Albergo delle Arti e all'interno del palazzo furono allestiti opifici e manifatture. Dopo la restaurazione ospitò un ospedale militare, un carcere e alloggi di ufficiali; nel 1828 accolse il Museo Lapidario istituito da Francesco IV d'Austria-Este.

L'unificazione italiana segnò una nuova tappa nella storia dell'edificio che nel 1881 fu parzialmente acquistato dall'Amministrazione Comunale allo scopo di riunirvi le raccolte artistiche e bibliografiche estensi e gli Istituti culturali civici.

Al piano terra del Palazzo dei Musei sono aperti i servizi di accoglienza. 

Nel cortile nord sono dislocati la reception e il punto informativo dove è possibile trovare informazioni utili alla visita degli Istituti cittadini e sulle iniziative culturali e didattiche promosse nei nuovi spazi.

All'interno del palazzo si trovano i seguenti Istituti culturali:
- Archivio Storico Comunale
- Biblioteca Estense Universitaria
- Museo Civico d'Arte
- Museo Civico Archeologico Etnologico
- Galleria Estense
- Biblioteca Civica d'Arte Luigi Poletti.