Am Eckpunkt zwischen der Viale delle Mura und der Via San Giacomo gelegen, präsentiert sich der Palazzo mit einem C-förmigen Grundriss, der den Blick auf die Città Bassa freigibt. Alle Fassaden, mit Ausnahme derjenigen an der Via San Giacomo, weisen ein hohes, rustiziertes Sockelgeschoss auf, das den Höhenunterschied zwischen den beiden Straßen kaschiert.

Die obere Partie der Fassaden ist von einem Raster aus ionischen Lisenen in Riesenordnung eingefasst, die im vorspringenden Teil der Fassade zur Porta San Giacomo durch Halbsäulen mit einer darüberliegenden Balustrade ersetzt werden, die mit Statuen und einer Uhr des Bildhauers Antonio Gelpi geschmückt ist. Über den Fenstern des Piano Nobile sind fünf Relieftafeln eingefasst, die der „Befreiung Jerusalems“ gewidmet sind und von Giovanni Maria Benzoni im Jahr 1848 geschaffen wurden. An der Fassade an den Mauern verbinden drei Arkaden mit einer darüber liegenden Terrasse die beiden Seitenflügel und begrenzen den Innenhof.

Deutlich schlichter ist die Seite an der Via San Giacomo, die durch eine dichte Abfolge von mit weißem Marmor profilierten Fenstern gegliedert ist.

Vom Portal führt ein langer Vestibül, der an der Innenkapelle vorbeiläuft, in den weitläufigen Portikus des Innenhofs, wo eine monumentale Treppe mit gegenläufigen Läufen zum Piano Nobile führt. Hier, in direkter Verbindung zum darunter liegenden Portikus, befindet sich der große Salon, der von kleineren Sälen, einer Galerie und einem Kabinett umgeben ist, die von Luigi Deleidi, Filippo Comerio und Vincenzo Bonomini dekoriert wurden.

Im letzten Abschnitt der Via San Giacomo, mit Blick auf die Ebene, entstand 1519 der Palazzo von Gerolamo Poncino (oder Poncini), dessen Bauarbeiten von Pietro Isabello nach einem Entwurf von Andrea Ziliolo geleitet wurden. Das Gebäude, das fast zwei Jahrhunderte lang im Wesentlichen unverändert blieb, wurde 1703 von Lodovica Poncino an Francesco Vailetti verkauft, der es zu seiner Residenz machte. Bis 1783 sind keine Arbeiten am Palazzo dokumentiert, als Graf Luigi Vailetti, Ururenkel von Francesco, dessen fast vollständige Abtragung beschloss, um einen Neubau nach einem Entwurf von Simone Cantoni zu errichten. Der Architekt bediente sich dabei der Zusammenarbeit des Baumeisters Giovanni Francesco Lucchini, der die Bauarbeiten leitete, die vor dem Sommer 1783 begannen und fünf Jahre später abgeschlossen wurden.

Im Inneren wurden die Räume von Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini dekoriert, während die Reliefs an der Westfassade, die Szenen aus der „Befreiung Jerusalems“ darstellen, vom Bildhauer Giovanni Maria Benzoni (1848) stammen.

Nachdem die Familie Vailetti ausgestorben war, wurde der Palazzo 1835 von der Gemeinde Bergamo erworben, mit der Absicht, darin das Gymnasium unterzubringen, was sich jedoch aufgrund der Schwierigkeiten bei der Anpassung der Räumlichkeiten an die neue Funktion als nicht realisierbar erwies. 1841 wurde er dann vom Grafen Giacomo Medolago Albani gekauft, der sich um dessen Restaurierung kümmerte. Das Gebäude steht seit 1910 unter Denkmalschutz und wurde 1984 und 2003 an den Fassaden renoviert.