Le premier séminaire des clercs a été fondé en 1572 et était situé dans l'ancienne Platea Magna, qui correspond aujourd'hui à la Piazza Duomo.

Après le tremblement de terre de 1693, il fut partiellement reconstruit sur les anciens murs et partiellement sur une zone occupée par l'ancien évêché; Il a été lancé par l'architecte Alonzo di Benedetto et poursuivi par Francesco Battaglia. Au fil du temps, il a subi plusieurs changements et aujourd'hui, le Palazzo dei Chierici abrite des bureaux de l'administration municipale.

En descendant les escaliers à droite du Palazzo dei Chierici, vous verrez la Porta Carlo V, située en plein milieu de la Pescheria, le pittoresque marché quotidien de fruits et de poissons. Une épigraphe placée au-dessus de la porte rappelle la date de 1553: elle faisait partie des murs érigés pour se défendre des incursions de pirates et d’ennemis.