Il primo Seminario dei Chierici fu fondato nel 1572 e si trovava nell’antica Platea Magna, che oggi corrisponde a Piazza Duomo. 

Dopo il terremoto del 1693 venne ricostruito in parte sulle antiche mura ed in parte su un’area occupata dall’antico Vescovado; fu iniziato   dall'architetto Alonzo di Benedetto e continuato da Francesco Battaglia. Nel tempo ha subito diverse modifiche e oggi, il Palazzo dei Chierici, è sede di uffici dell'Amministrazione Comunale.

Scendendo le scale a destra del Palazzo dei Chierici si vede la Porta Carlo V, che è proprio in mezzo alla Pescheria, il  pittoresco mercato giornaliero della frutta e del pesce. Una epigrafe posta sopra la porta ne ricorda la data, 1553: faceva parte delle mura erette per difendersi dalle incursioni dei pirati e dei nemici.