Situé à l'angle du boulevard des Mura et de la rue San Giacomo, le palais présente un plan en C ouvert sur le panorama de la ville basse. Tous les façades, à l'exception de celle de la rue San Giacomo, présentent un haut soubassement en bossage qui masque le dénivelé entre les deux rues.

La partie supérieure des façades est encadrée par une grille de pilastres ioniques d'ordre géant qui, dans la partie saillante de la façade vers la porte San Giacomo, sont remplacées par des demi-colonnes avec une balustrade supérieure ornée de statues et d'une horloge du sculpteur Antonio Gelpi. Au-dessus des fenêtres du premier étage noble, cinq panneaux en bas-relief dédiés à la « Jérusalem délivrée », réalisés par Giovanni Maria Benzoni en 1848, sont insérés. Sur la façade des murailles, trois arcades avec une terrasse au-dessus relient les deux ailes latérales et délimitent la cour intérieure. 
Plus sobre, le flanc le long de la rue San Giacomo, articulé par une suite dense de fenêtres profilées en marbre blanc.

Depuis le portail, un long vestibule, qui longe la chapelle intérieure, conduit dans l'ample portique de la cour, où un escalier monumental à rampes opposées monte au premier étage noble. Ici, en correspondance avec le portique situé en contrebas, se trouve le grand salon, entouré de salles plus petites, d'une galerie et d'un cabinet, décorés par Luigi Deleidi, Filippo Comerio et Vincenzo Bonomini.

Dans le dernier tronçon de la rue San Giacomo, face à la plaine, s'élevait en 1519 le palais de Gerolamo Poncino (ou Poncini), dont les travaux furent suivis par Pietro Isabello sur des dessins d'Andrea Ziliolo. Resté essentiellement inchangé pendant près de deux siècles, l'édifice fut vendu en 1703 par Lodovica Poncino à Francesco Vailetti qui en fit sa résidence. Aucun travail relatif au palais n'est documenté jusqu'en 1783, lorsque le comte Luigi Vailetti, arrière-petit-fils de Francesco, en décréta la démolition presque totale pour en construire un nouveau sur des plans de Simone Cantoni. L'architecte s'est appuyé sur la collaboration du maître d'œuvre Giovanni Francesco Lucchini, qui a suivi le chantier lancé avant l'été 1783 et achevé cinq ans plus tard.

À l'intérieur, les salles ont été décorées par Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, tandis que les bas-reliefs de la façade ouest représentant des scènes de la « Jérusalem délivrée » sont du sculpteur Giovanni Maria Benzoni (1848).

Après l'extinction de la famille Vailetti, le palais fut acquis par la municipalité de Bergame en 1835 dans l'intention d'y installer le lycée, choix qui s'avéra ensuite irréalisable en raison des difficultés d'adaptation des locaux à la nouvelle fonction. En 1841, il fut donc acheté par le comte Giacomo Medolago Albani qui se chargea de sa restauration. Mis sous protection ministérielle à partir de 1910, il a fait l'objet d'interventions sur les façades en 1984 et 2003.