Расположенный на углу проспекта Мура и улицы Сан-Джакомо, дворец имеет C-образную планировку, открывающуюся на панораму Нижнего города. Все фасады, за исключением фасада на улице Сан-Джакомо, имеют высокий рустованный цоколь, скрывающий перепад высот между двумя улицами.

Верхняя часть фасадов заключена в решетку гигантских ионических пилястр, которые в выступающей части фасада, обращенной к воротам Сан-Джакомо, заменены полуколоннами с верхней балюстрадой, украшенной статуями и часами работы скульптора Антонио Гельпи. Над окнами благородного этажа вставлены пять барельефных панелей, посвященных «Освобожденной Иерусалиму», выполненных Джованни Марией Бенцони в 1848 году. На фасаде, обращенном к стенам, три арки с террасой над ними соединяют два боковых крыла и ограничивают внутренний двор.
Более простой фасад на улице Сан-Джакомо, членимый плотной последовательностью окон, оформленных белым мрамором.

С портала длинный вестибюль, огибающий внутреннюю часовню, ведет в просторный портик двора, где к благородному этажу ведет монументальная лестница с противоположными маршами. Здесь, напротив нижнего портика, расположен большой зал, окруженный меньшими залами, галереей и кабинетами, украшенными Луиджи Делеиди, Филиппо Комерио и Винченцо Бономи.

В последнем отрезке улицы Сан-Джакомо, выходящем на равнину, в 1519 году был построен дворец Джероламо Пончино (или Пончини), работы по которому вел Пьетро Изабелло по проекту Андреа Зилиоло. Оставаясь практически неизменным в течение почти двух столетий, здание было продано в 1703 году Лодовикой Пончино Франческо Вайлетти, который сделал его своей резиденцией. Работы, связанные с дворцом, не документированы до 1783 года, когда граф Луиджи Вайлетти, правнук Франческо, распорядился о его практически полном сносе, чтобы построить новый по проекту Симоне Кантони. Архитектор воспользовался помощью мастера каменных дел Джованни Франческо Луккини, который следил за строительством, начатым до лета 1783 года и завершенным пятью годами позже.

Внутри залы были украшены Филиппо Комерио, Луиджи Делеиди, Винченцо Бономи, а барельефы западного фасада, изображающие сцены из «Освобожденной Иерусалима», принадлежат скульптору Джованни Марии Бенцони (1848).

После того, как род Вайлетти вымер, дворец был куплен муниципалитетом Бергамо в 1835 году с намерением разместить в нем лицей, но этот план оказался нереализуемым из-за трудностей с переоборудованием помещений для новой функции. В 1841 году его купил граф Джакомо Медолаго Альбани, который провел его реставрацию. С 1910 года он находится под охраной Министерства и был объектом реставрации фасадов в 1984 и 2003 годах.