Gelegen op de hoek van de Viale delle Mura en de Via San Giacomo, heeft het paleis een C-vormige plattegrond die open is naar het uitzicht op de Città Bassa. Alle gevels, behalve die aan de Via San Giacomo, hebben een hoog, geruwd basement dat het hoogteverschil tussen de twee straten verbergt.

Het bovenste deel van de gevels is omsloten door een rooster van Ionische pilasters van reusachtige orde die, in het overhangende deel van de gevel naar de Porta San Giacomo, worden vervangen door halfzuilen met een bovenste balustrade versierd met beelden en een klok van de beeldhouwer Antonio Gelpi. Boven de ramen van de verdieping zijn vijf panelen met reliëfs ingewerkt die gewijd zijn aan de "Gerusalemme liberata", gemaakt door Giovanni Maria Benzoni in 1848. In de gevel aan de muren verbinden drie bogen met daarboven een terras de twee zijvleugels en begrenzen de binnenplaats.
De zijkant aan de Via San Giacomo is soberder, met een dichte reeks van marmeren ramen.

Vanuit de poort leidt een lange vestibule, die de binnenkapel raakt, naar de ruime portiek van de binnenplaats, waar een monumentale trap met tegenovergestelde hellingen naar de eerste verdieping leidt. Hier, ter hoogte van de onderliggende portiek, bevindt zich de grote salon, omringd door kleinere kamers, een galerij en een kabinet, versierd door Luigi Deleidi, Filippo Comerio en Vincenzo Bonomini.

In het laatste deel van de Via San Giacomo, met uitzicht op de vlakte, verrees in 1519 het paleis van Gerolamo Poncino (of Poncini), waarvan de werken werden geleid door Pietro Isabello naar een ontwerp van Andrea Ziliolo. Het gebouw bleef bijna twee eeuwen vrijwel ongewijzigd en werd in 1703 verkocht door Lodovica Poncino aan Francesco Vailetti, die er zijn residentie van maakte. Er zijn geen werkzaamheden met betrekking tot het paleis gedocumenteerd tot 1783, toen graaf Luigi Vailetti, achterkleinzoon van Francesco, de bijna volledige sloop besliste om er een nieuw paleis op te bouwen naar een ontwerp van Simone Cantoni. De architect kreeg de hulp van de bouwmeester Giovanni Francesco Lucchini, die toezicht hield op de bouwplaats die voor de zomer van 1783 begon en vijf jaar later werd voltooid.

Binnen werden de zalen versierd door Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, terwijl de reliëfs op de westelijke gevel die scènes uit de "Gerusalemme liberata" voorstellen, van de hand zijn van de beeldhouwer Giovanni Maria Benzoni (1848).

Na het uitsterven van de familie Vailetti werd het paleis in 1835 gekocht door de gemeente Bergamo met de bedoeling er het lyceum te vestigen, een keuze die later onhaalbaar bleek vanwege de moeilijkheden om de ruimtes aan te passen aan de nieuwe functie. In 1841 werd het vervolgens gekocht door graaf Giacomo Medolago Albani die voor de restauratie zorgde. Het paleis staat sinds 1910 onder ministeriële bescherming en is in 1984 en 2003 onderworpen aan restauratiewerken aan de gevels.