Die Zitadelle zeugt von der Herrschaft der Visconti-Familie über Bergamo, die 1332 begann und bis 1428 dauerte, als die Stadt unter venezianische Herrschaft fiel. Erbaut im Jahre 1379, als Rodolfo Visconti den Bau der Wohneinheiten der Garnison in Auftrag gab, wurde der Komplex, der als Hospitium Magnum bekannt ist, zahlreichen Eingriffen unterzogen. Die Veranda Visconti mit ihren Spitzbögen wurde von 1958 bis 1960 restauriert.