El primer seminario de los clérigos se fundó en 1572 y se ubicó en la antigua Platea Magna, que hoy corresponde a Piazza Duomo.

Después del terremoto de 1693, se reconstruyó parcialmente en las antiguas murallas y en parte en un área ocupada por el antiguo Obispado; fue iniciado por el arquitecto Alonzo di Benedetto y continuó por Francesco Battaglia. Con el tiempo ha sufrido varios cambios y hoy, el Palazzo dei Chierici, es el hogar de las oficinas de la Administración Municipal.

Al bajar las escaleras a la derecha del Palazzo dei Chierici, se ve la Porta Carlo V, que está justo en medio de la Pescheria, el pintoresco mercado diario de frutas y pescados. Un epígrafe colocado encima de la puerta recuerda la fecha, 1553: era parte de los muros erigidos para defenderse de las incursiones de piratas y enemigos.