Położony na rogu Viale delle Mura i Via San Giacomo, pałac charakteryzuje się planem w kształcie litery C, otwierającym się na panoramę Dolnego Miasta. Wszystkie elewacje, z wyjątkiem tej od strony Via San Giacomo, posiadają wysoki, boniowany cokół, który maskuje różnicę poziomów między tymi dwiema ulicami.

Górna część fasad jest zamknięta w siatkę pilastrów jońskich o gigantycznym porządku, które w wystającej części frontu w stronę Porta San Giacomo zastąpione są półkolumnami z górną balustradą zdobioną statwami i zegarem rzeźbiarza Antonio Gelpiego. Nad oknami piętra szlacheckiego umieszczono pięć paneli z płaskorzeźbami poświęconych "Jerozolimie Wyzwolonej", wykonanych przez Giovanniego Marię Benzoni w 1848 roku. W elewacji od strony murów, trzy arkady z tarasem powyżej łączą dwa boczne skrzydła i ograniczają wewnętrzny dziedziniec. 
Bardziej oszczędny jest bok wzdłuż Via San Giacomo, urozmaicony gęstym szeregiem okien wyprofilowanych z białego marmuru.

Z portalu długi przedsionek, który omija wewnętrzną kaplicę, prowadzi do obszernego portyku dziedzińca, gdzie monumentalne schody z przeciwległymi pochylniami prowadzą na piętro szlacheckie. Tam, na wysokości portyku poniżej, znajduje się wielka sala, otoczona mniejszymi salami, galerią i gabinetami, ozdobionymi przez Luigiego Deleidiego, Filippo Comerio i Vincenzo Bonomini.

Na końcu Via San Giacomo, z widokiem na równinę, w 1519 roku powstał pałac Gerolamo Poncino (lub Poncini), którego budowę nadzorował Pietro Isabello według projektu Andrei Ziliolo. Pozostając niemal niezmieniony przez prawie dwa wieki, budynek został sprzedany w 1703 roku przez Lodovicę Poncino Francesco Vailettiemu, który uczynił go swoją rezydencją. Nie ma dokumentów dotyczących prac związanych z pałacem do 1783 roku, kiedy to hrabia Luigi Vailetti, prawnuk Francesco, nakazał jego prawie całkowitą rozbiórkę, aby zbudować nowy według projektu Simone Cantoni. Architekt skorzystał z pomocy mistrza murarskiego Giovanniego Francesco Lucchiniego, który nadzorował budowę rozpoczętą przed latem 1783 roku i zakończoną pięć lat później.

Wnętrza sal zostały ozdobione przez Filippo Comerio, Luigiego Deleidiego, Vincenzo Bonomini, podczas gdy płaskorzeźby na zachodniej elewacji przedstawiające sceny z "Jerozolimy Wyzwolonej" są dziełem rzeźbiarza Giovanniego Marii Benzoni (1848).

Po wygaśnięciu rodziny Vailetti, pałac został zakupiony przez Gminę Bergamo w 1835 roku z zamiarem umieszczenia w nim liceum, wybór ten okazał się jednak niemożliwy do zrealizowania ze względu na trudności w dostosowaniu pomieszczeń do nowej funkcji. W 1841 roku został zakupiony przez hrabiego Giacomo Medolago Albaniego, który zajął się jego restauracją. Poddany ochronie ministerialnej od 1910 roku, był przedmiotem prac renowacyjnych elewacji w 1984 i 2003 roku.