Il a été fondé par le pape Pie V en 1507 sur le projet de Tibaldi: un bâtiment extrêmement austère de trois étages sur un plan carré. En fait la façade est sévère avec ses fenêtres sans corniche. L'effet plastique est mis en évidence par la grande porte principale, seul élément en saillie.

La cour du collège comporte des porches avec des piliers couplés, tandis que l'étage supérieur est fermé. L'oratoire en forme de dôme est à l'ouest. À côté du collège se trouve un élégant bâtiment néoclassique de deux étages, construit à l’époque de Napoléon, dans le but de fournir des salles de classe à l’école militaire.

Aujourd'hui, ce bâtiment est le siège de l'administration du collège. La statue de saint Pie V se dresse au milieu de la place. C'est un exemple raffiné de la sculpture baroque de Francesco Nuvolone.