Il palazzo venne costruito su precedenti edifici medievali (di cui troviamo ancora nei sotterranei la via d'ingresso) e una casa del 1500. 

Nel 1631, quando il marchese Luigi Terzi sposò la contessa Paola Roncalli, iniziò la trasformazione che venne completata dal marchese Antonio dop il 1750. 

Settecentesca è infatti l'attuale facciata eseguita su disegno dell'architetto Filippo Alessandri che recuperò l'attuale piazzetta Terzi, grazie ad un imponente opera di scavo del terrapieno antistante. 

Le belle statue dell'Architettura nella piazza, della Pittura e Scultura sul terrazzo e dei Puttini raffiguranti le quattro stagioni sul balcone della facciata e su quello dirimpetto, sono opera di G.A. Sanz (1702 - 1787). 


Gran Salone - Questo imponente salone è costruito sull'altezza di due piani ed intorno ad esso ruotano le altre sale. Gli affreschi del soffitto, così come tutti gli altri dipinti sul tela alle paretri hanno il tema in comune e cioè la celebrazione delle virtù dell'amore coniugale, filiale e materno. Infatti, come si è detto prima, il palazzo fu rinnovato dopo il matrimonio del marchese Luigi Terzi con la contessa Paola Roncalli. 

Salottino della Musica - Qui passiamo al puro divertissement Rococò: infatti grazie all'opera dei famosi stuccatori ticinese i Camizzi, questa angusta stanza asimmetrica con piccole finestre si è trasformata in un piacevolissimo salottinocon ricchi stucchi dorati. 

Sala del Tiepolo - Al centro del soffitto di questa stanza troviamo una tela attribuita al Tiepolo. 

Sala Rossa - Chiaramente prende il nome dalla tappezzeria di damasco rosso ed è un'armoniosa fusione tra il Seicento ed il Settecento. Infatti gli affreschi del soffitto sono stati eseguiti nel Seicento da Cristoforo Storer. La sala è stata arredata nel '700: specchiere, consolles (dei Fantoni), porte stuccate, vasi Ming con montatura in bronzo. 

Jardine d'Hiver - Si accede dalla Sala Rossa ed è una piccola veranda con decorazioni contemporanee eseguite dal conte Giacomo Suardi. 

Sala del Soprarizzo - Sul soffitto vi è un affresco eseguito da Carpoforo Tencalla. Notevole è il pavimento in legno intarsiato a riquadri eseguito su disegno dell'architetto Caniana. L'arredamento è tipicamente settecentesco. Questa stanza è ricca di storia; infatti proprio qui fu nascosta al ritorno degli Austriaci, dopo il 1848 (nell'intercapedine fra la parete e il soprarizzo) la bandiera tricolore della Guardia Nazionale di Bergamo Alta, che nel 1862 la marchesa Maria Terzi Caumont de la Force, vedova del marchese Luigi amico e collaboratore di Gabriele Camozzi, consegnò all'allora Sindaco della città. 

Salottino degli Specchi - La fusione tra il '600 ed il '700 risulta armoniosa. Il soffitto affrescato nel '600 dallo Storer (prima sua opera nel palazzo) venne successivamente integrato con gli specchi del soffitto e completato dagli specchi e stucchi alle pareti. La completezza del salottino è dato dal magnifico pavimento a tarsie policrome di legni rari, capolavoro del Caniana. 

Sala da Pranzo - Sul soffitto c'è un affresco di Gian Giacomo Barbello.  Alle pareti: un arazzo fiammingo del '600 raffigurante la nascita di Roma. Il tavolo è del '700 veneziano (dalla villa di Trescore), le sedie del '600.