Ubicato all'angolo tra il viale delle Mura e via San Giacomo, il palazzo presenta una pianta a C aperta sul panorama della Città Bassa. Tutti i prospetti, ad esclusione di quello su via San Giacomo, presentano un alto basamento bugnato che nasconde il dislivello tra le due strade.

La parte superiore delle facciate è racchiusa entro una griglia di lesene ioniche di ordine gigante che, nella porzione aggettante del fronte verso porta San Giacomo, sono sostituite da semicolonne con superiore balaustra ornata da statue e orologio dello scultore Antonio Gelpi. Sopra le finestre del piano nobile sono inseriti cinque pannelli a bassorilievo dedicati alla "Gerusalemme liberata", realizzati da Giovanni Maria Benzoni nel 1848. Nel prospetto sulle mura, tre arcate con sovrastante terrazza, collegano le due ali laterali e delimitano il cortile interno. 
Più sobrio il fianco lungo via San Giacomo, articolato da una fitta sequenza di finestre profilate di marmo bianco.

Dal portale un lungo vestibolo, che lambisce la cappella interna, conduce nell'ampio portico del cortile, dove uno scalone monumentale a rampe contrapposte sale al piano nobile. Qui, in corrispondenza del portico sottostante, si trova il grande salone, attorniato da sale minori, galleria e cabinet, decorate da Luigi Deleidi, Filippo Comerio e Vincenzo Bonomini.

Nell'ultimo tratto di via San Giacomo, affacciato sulla pianura, sorse nel 1519 il palazzo di Gerolamo Poncino (o Poncini) i cui lavori furono seguiti da Pietro Isabello su disegno di Andrea Ziliolo. Rimasto sostanzialmente inalterato per quasi due secoli, l'edificio fu venduto nel 1703 da Lodovica Poncino a Francesco Vailetti che ne fece la propria residenza. Non sono documentati lavori inerenti il palazzo fino al 1783, quando il conte Luigi Vailetti, pronipote di Francesco, ne decreterà la pressoché totale demolizione per costruirne uno nuovo su progettato di Simone Cantoni. L'architetto si avvalse della collaborazione del capomastro Giovanni Francesco Lucchini, che seguì il cantiere avviato prima dell'estate del 1783 e concluso cinque anni dopo.

All'interno le sale furono decorate da Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, mentre i bassorilievi del prospetto occidentale raffiguranti scene della "Gerusalemme liberata" sono dello scultore Giovanni Maria Benzoni (1848).

Estintasi la famiglia Vailetti, il palazzo fu acquistato dal Comune di Bergamo nel 1835 con l'intenzione di collocarvi il liceo, scelta rivelatasi poi irrealizzabile a causa delle difficoltà di adattamento dei locali alla nuova funzione. Nel 1841 fu quindi acquistato dal conte Giacomo Medolago Albani che provvide al suo restauro. Sottoposto a vincolo ministeriale dal 1910, è stato oggetto di interventi sulle facciate nel 1984 e nel 2003.