Localizado na esquina entre a Via das Muralhas e a Via San Giacomo, o palácio apresenta uma planta em forma de C aberta para a paisagem da Cidade Baixa. Todas as fachadas, com exceção da que fica na Via San Giacomo, apresentam um alto soco rusticado que esconde o desnível entre as duas ruas.

A parte superior das fachadas está fechada por uma grade de pilastras jônicas de ordem gigante que, na parte saliente da fachada voltada para a Porta San Giacomo, são substituídas por semicolunas com balaustrada superior adornada por estátuas e um relógio do escultor Antonio Gelpi. Acima das janelas do piso nobre, são inseridos cinco painéis em baixo-relevo dedicados à "Jerusalém Libertada", realizados por Giovanni Maria Benzoni em 1848. Na fachada das muralhas, três arcos com terraço acima, ligam as duas alas laterais e delimitam o pátio interno.
Mais sóbrio o lado ao longo da Via San Giacomo, articulado por uma sequência densa de janelas emolduradas de mármore branco.

Do portal, um longo vestíbulo, que margeia a capela interna, conduz ao amplo pórtico do pátio, onde uma escadaria monumental de rampas opostas sobe ao piso nobre. Aqui, em correspondência com o pórtico abaixo, encontra-se o grande salão, rodeado por salas menores, galeria e gabinetes, decorados por Luigi Deleidi, Filippo Comerio e Vincenzo Bonomini.

No último trecho da Via San Giacomo, de frente para a planície, surgiu em 1519 o palácio de Gerolamo Poncino (ou Poncini) cujas obras foram acompanhadas por Pietro Isabello sob o projeto de Andrea Ziliolo. Mantendo-se substancialmente inalterado por quase dois séculos, o edifício foi vendido em 1703 por Lodovica Poncino a Francesco Vailetti que o transformou em sua residência. Não há documentos sobre trabalhos relativos ao palácio até 1783, quando o Conde Luigi Vailetti, bisneto de Francesco, decretou sua quase total demolição para construir um novo, projetado por Simone Cantoni. O arquiteto contou com a colaboração do mestre de obras Giovanni Francesco Lucchini, que acompanhou o canteiro de obras iniciado antes do verão de 1783 e concluído cinco anos depois.

No interior, as salas foram decoradas por Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, enquanto os baixos-relevos da fachada ocidental representando cenas da "Jerusalém Libertada" são do escultor Giovanni Maria Benzoni (1848).

Extinta a família Vailetti, o palácio foi adquirido pelo município de Bérgamo em 1835 com a intenção de instalar o liceu, escolha que se revelou posteriormente inviável devido às dificuldades de adaptação dos espaços à nova função. Em 1841, foi então adquirido pelo Conde Giacomo Medolago Albani que providenciou sua restauração. Submetido a tombamento ministerial em 1910, foi objeto de intervenções nas fachadas em 1984 e 2003.