Situado en la esquina entre el Paseo de las Murallas y la calle San Giacomo, el palacio presenta una planta en forma de C abierta al panorama de la Ciudad Baja. Todos los frentes, excepto el de la calle San Giacomo, presentan un alto zócalo almohadillado que oculta el desnivel entre las dos calles.

La parte superior de las fachadas está enmarcada por una rejilla de pilastras jónicas de orden gigante que, en la porción saliente del frente hacia la puerta San Giacomo, son reemplazadas por semicolumnas con balaustrada superior adornada con estatuas y reloj del escultor Antonio Gelpi. Sobre las ventanas del piso noble se insertan cinco paneles en bajorrelieve dedicados a la "Jerusalén liberada", realizados por Giovanni Maria Benzoni en 1848. En el frente sobre las murallas, tres arcadas con terraza superior, conectan las dos alas laterales y delimitan el patio interior.
Más sobrio el flanco a lo largo de la calle San Giacomo, articulado por una densa secuencia de ventanas perfiladas en mármol blanco.

Desde el portal, un largo vestíbulo, que bordea la capilla interior, conduce al amplio pórtico del patio, donde una monumental escalera de rampas contrapuestas sube al piso noble. Aquí, en correspondencia con el pórtico inferior, se encuentra el gran salón, rodeado de salas menores, galería y gabinetes, decoradas por Luigi Deleidi, Filippo Comerio y Vincenzo Bonomini.

En el último tramo de la calle San Giacomo, frente a la llanura, surgió en 1519 el palacio de Gerolamo Poncino (o Poncini) cuyas obras fueron seguidas por Pietro Isabello según el diseño de Andrea Ziliolo. Mantenido sustancialmente inalterado durante casi dos siglos, el edificio fue vendido en 1703 por Lodovica Poncino a Francesco Vailetti, quien lo convirtió en su residencia. No hay documentación sobre trabajos relacionados con el palacio hasta 1783, cuando el conde Luigi Vailetti, bisnieto de Francesco, decretó la demolición casi total para construir uno nuevo según el proyecto de Simone Cantoni. El arquitecto se valió de la colaboración del maestro de obras Giovanni Francesco Lucchini, quien siguió la obra que se inició antes del verano de 1783 y concluyó cinco años después.

En el interior, las salas fueron decoradas por Filippo Comerio, Luigi Deleidi, Vincenzo Bonomini, mientras que los bajorrelieves del frente occidental que representan escenas de la "Jerusalén liberada" son del escultor Giovanni Maria Benzoni (1848).

Al extinguirse la familia Vailetti, el palacio fue adquirido por el Ayuntamiento de Bérgamo en 1835 con la intención de instalar allí el liceo, una decisión que resultó irrealizable debido a las dificultades para adaptar los locales a la nueva función. En 1841 fue adquirido por el conde Giacomo Medolago Albani, quien se encargó de su restauración. Sometido a protección ministerial desde 1910, ha sido objeto de intervenciones en las fachadas en 1984 y 2003.