Palatset ligger vid hörnet av Viale delle Mura och Via San Giacomo och har en C-formad planlösning som öppnar sig mot utsikten över Città Bassa. Alla fasader, förutom den mot Via San Giacomo, har en hög, rustikad sockel som döljer höjdskillnaden mellan de två gatorna.

Den övre delen av fasaderna är innesluten av ett rutnät av jonkiska pilastrar i gigantisk ordning som, i den utskjutande delen av fronten mot Porta San Giacomo, ersätts av halvkolonner med en övre balustrad prydd med statyer och en klocka av skulptören Antonio Gelpi. Ovanför fönstren på piano nobile finns fem bassängreliefer som är dedikerade till "Jerusalem befriad", skapade av Giovanni Maria Benzoni 1848. På fasaden mot murarna förbinder tre bågar med en terrass ovanför de två sidoflyglarna och avgränsar den inre gården.

Sidan längs Via San Giacomo är mer återhållsam och är strukturerad av en tät följd av fönster med vita marmorprofiler.

Från portalen leder en lång entréhall, som gränsar till den inre kapellet, till den stora portiken på gården, där en monumental trappa med motsatta ramper leder upp till piano nobile. Här, i linje med portiken nedanför, finns den stora salen, omgiven av mindre rum, en galleria och ett skåp, dekorerade av Luigi Deleidi, Filippo Comerio och Vincenzo Bonomini.

I den sista delen av Via San Giacomo, med utsikt över slätten, uppfördes 1519 palatset för Gerolamo Poncino (eller Poncini) vars arbete leddes av Pietro Isabello efter ritningar av Andrea Ziliolo. Byggnaden, som i stort sett förblev oförändrad i nästan två århundraden, såldes 1703 av Lodovica Poncino till Francesco Vailetti som gjorde den till sin bostad. Det finns inga dokumenterade arbeten som rör palatset fram till 1783, då greve Luigi Vailetti, Francesco sonson, beställde en nästan total rivning för att bygga ett nytt palats efter ritningar av Simone Cantoni. Arkitekten samarbetade med byggmästaren Giovanni Francesco Lucchini, som ledde arbetena som inleddes före sommaren 1783 och slutfördes fem år senare.

Inuti dekorerades salarna av Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, medan bassängrelieferna på den västra fasaden som avbildar scener ur "Jerusalem befriad" är av skulptören Giovanni Maria Benzoni (1848).

När familjen Vailetti dog ut köptes palatset av kommunen Bergamo 1835 med avsikten att inhysa gymnasiet där, men det visade sig vara omöjligt på grund av svårigheterna att anpassa lokalerna till den nya funktionen. 1841 köptes det av greve Giacomo Medolago Albani som såg till att det restaurerades. Palatset är skyddat av statligt beslut från 1910 och har genomgått renoveringar av fasaderna 1984 och 2003.