L'Istituto, sorto come Sezione di Archivio di Stato con D.M. 7 giugno 1941, in applicazione della legge 22 dicembre 1939, n° 2006, divenne Archivio di Stato a seguito del D.P.R. 30 settembre 1963, n° 1409. Nella Sezione erano confluiti i fondi archivistici, provenienti in gran parte dalla Cancelleria comunitativa di Arezzo, che Ubaldo Pasqui, studioso di storia locale, aveva riunito , fin dal 1885, in un unico, grande complesso documentario. 

I nuclei principali erano costituiti dall'archivio dell'antico Comune, dagli archivi di numerosi organi giurisdizionali dello Stato toscano, da una quantità di fondi appartenuti a corporazioni religiose, ospedali, opere di chiese e altre istituzioni cittadine e, inoltre, da pergamene varie, atti catastali e documenti diversi.

L'insieme dei fondi originari non risale, salvo poche eccezioni, oltre l'anno 1384 quando la cancelleria comunale, e con essa l'archivio, vennero incendiati nel corso delle vicende che portarono alla sottomissione di Arezzo a Firenze. A partire dallo stesso 1885 Ubaldo Pasqui diede inizio a un lavoro di inventariazione degli atti, rielaborando l'assetto che la documentazione aveva assunto, sul cadere degli anni Sessanta, e che trovava riscontro in un inventario generale elaborato, per conto del Comune, da Gustavo Mancini e Pasquale Leoni. 

Il nuovo inventario generale poggiava sull'individuazione di circa quattrocento serie documentarie, la cui costituzione comportò una distribuzione del complesso documentario sulla base di criteri meramente empirici, dando luogo a successioni cronologiche di unità archivistiche senza riferimenti precisi alla loro provenienza e al loro rapporto con gli organismi di produzione. L'opera, manoscritta, del Pasqui - che ha costituito fino ad anni recenti, l'unico e indispensabile strumento di corredo e di ricerca - è stata progressivamente sostituita da nuovi strumenti (solo in piccola parte pubblicati a stampa), nati da uno studio più approfondito delle realtà istituzionali sottostanti ai diversi fondi documentari, le cui strutture archivistiche hanno riacquistato la fisionomia loro propria ed il corretto rapporto con gli enti produttori.

Le nuove acquisizioni, intervenute successivamente al trasferimento dell'Archivio da locali del palazzo comunale alla più ampia sede attuale (1960), hanno fortemente aumentato il patrimonio documentario dell'Archivio di Stato che è venuto in possesso, a diverso titolo, di fondi di uffici periferici dello Stato (amministrativi, giudiziari e finanziari) e, in genere, di carte di istituzioni moderne, pubbliche e private, di imprese e di famiglie. 

La consistenza complessiva supera oggi le cinquantamila unità, costituite prevalentemente da buste, filze e registri. La documentazione conservata costituisce un imponente complesso di fonti per la storia di Arezzo ed, in parte, anche per la storia del territorio circostante. Documenti utili in tal senso sono naturalmente conservati in altri archivi aretini o in altri Archivi di Stato, particolarmente in quello di Firenze dove si trovano il fondo diplomatico riguardante Arezzo, gli atti dei notai cittadini e le carte delle corporazioni religiose soppresse. 

Altri documenti sono invece andati perduti, per cause belliche, nel 1943 quando nella distruzione della sede della Prefettura scomparvero l'archivio prodotto da tale ufficio e quelli delle istituzioni che l'avevano preceduto in epoca toscana.