Palác se nachází v rohu mezi Viale delle Mura a Via San Giacomo a má půdorys ve tvaru C otevírající se do panoramatu spodního města. Všechny fasády, s výjimkou fasády na Via San Giacomo, vykazují vysoký rustikovaný sokl, který zakrývá výškový rozdíl mezi oběma ulicemi.

Horní část fasád je ohraničena mříží gigantických iónských pilastrů, které v vyčnívající části fasády směrem k Porta San Giacomo nahrazují polosloupy s horní balustrádou zdobenou sochami a hodinami od sochaře Antonia Gelpiho. Nad okny prvního patra je umístěno pět basreliéfových panelů věnovaných „Osvobozené Jeruzalému“, které vytvořil Giovanni Maria Benzoni v roce 1848. V fasádě na hradebním valu spojují dvě boční křídla tři arkády s nadzemní terasou a ohraničují vnitřní nádvoří.
Strana podél Via San Giacomo je skromnější a je členěna hustou sekvencí oken s bílými mramorovymi rámy.

Z portálu vede dlouhý vestibul, který obepíná vnitřní kapli, do širokého portiku nádvoří, kde se monumentální schodiště s protiběžnými rameny vine do prvního patra. Zde, v úrovni spodního portiku, se nachází velký salón, obklopený menšími sály, galerií a pracovnami, zdobenými Luigim Deleidim, Filippem Comeriem a Vincenzem Bonominim.

V posledním úseku Via San Giacomo s výhledem na nížinu vyrostl v roce 1519 palác Gerolama Poncina (nebo Poncini), jehož stavbu řídil Pietro Isabello podle návrhu Andrea Ziliola. Budova, která se téměř dvě století zachovala v podstatě nezměněna, byla v roce 1703 prodána Lodovicou Poncinou Francescu Vailettimu, který si z ní udělal sídlo. Do roku 1783 se nepodařilo zdokumentovat žádné práce týkající se paláce, kdy hrabě Luigi Vailetti, pravnuk Francesca, nařídil téměř úplnou demolici, aby na jeho místě postavil nový palác podle projektu Simona Cantoního. Architekt si vzal na pomoc mistra zedníka Giovanniho Francesca Lucchiniho, který dohlížel na stavbu, která byla zahájena před létem roku 1783 a dokončena o pět let později.

Vnitřní prostory zdobili Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, zatímco basreliéfy na západní fasádě zobrazující scény z „Osvobozené Jeruzalému“ jsou dílem sochaře Giovanniho Marie Benzoniho (1848).

Po vyhynutí rodu Vailettiů koupila palác v roce 1835 obec Bergamo s úmyslem zřídit v něm gymnázium, což se ukázalo jako nereálné, protože místnosti se nedaly přizpůsobit nové funkci. V roce 1841 ho tak koupil hrabě Giacomo Medolago Albani, který ho nechal zrekonstruovat. Od roku 1910 je palác chráněn ministerstvem a v roce 1984 a 2003 byl objekt restaurovaný, a to zejména na fasádách.