Dieses 1561 von St. Charles gegründete College ist eine der schönsten Herrenhäuser in der Lombardei. Es wurde zwischen 1561 und 1588 nach dem Projekt von Pellegrino Pellegrini, alias Tibaldi, errichtet. Danach bereicherte Richichi die Anlage mit wunderschönen italienischen Gärten. Dieser "Palast des Lernens", wie Vasari ihn nannte, blickt auf einen der schönsten Plätze in Pavia.

Auf der Vorderseite befindet sich ein starkes plastisches Relief, das von den verzierten Fenstern mit Nischen und einem monumentalen Haupteingang unterstrichen wird. Zu Beginn des 17. Jahrhunderts wurde der große Saal im ersten Stock mit Malereien dekoriert, die dem heiligen Carlo Borromeo gewidmet sind.
Das Gewölbe und die Nordmauer stammen von Cesare Nebbia aus Orvieto.
Die Südwand zeigt das Legen des Kardinalshutes, die Arbeit von Federico Zuccari. In den Jahren 1818-1820 wurde das College erreicht und zum Fluss hin erweitert. So wurde die nahe gelegene mittelalterliche Kirche San Giovanni in Borgo abgerissen und ihre reichen Skulpturen befinden sich heute in den städtischen Museen.

Das College wurde gegründet, um talentierten, aber armen Studenten, die es sich folglich nicht leisten konnten, eine Universität zu besuchen, die Möglichkeit zu geben, sich dem Studium zu widmen. Während der Gegenreformation sollte das Kollegium angemessene moralische Werte gewährleisten. Im 18. und 19. Jahrhundert besuchten Juristen, die für hochverantwortliche Positionen in der Kirche und im Mailänder Staat bestimmt waren, dieses renommierte College.