Si trovava sul lembo di terra a nord dell’imboccatura del porto della cala ed era costituito da una vera e propria cittadella militare. 

Edificato a partire dal X secolo, durante la dominazione araba, aveva al centro il mastio turriforme. Una vasta spianata lo separava dalla città. Potenziato in epoca normanna, il castello fu fortificato nel 1496, durante il regno di Ferdinando il Cattolico. 

In quell’epoca venne costruito il corpo d’ingresso con due torrioni affiancati, al centro dei quali era il fornice e, su questo, lo stemma reale. Nel 1535, nell’ambito delle opere di fortificazione della città decise dal vicerè Don Ferrante Gonzaga, furono costruiti i baluardi ed i fossati a difesa del Castellammare, che diveniva il punto di forza principale della nuova cinta bastionata della città. 

Inoltre, nel timore di eventuali sommosse cittadine, veniva potenziata la difesa del fortilizio anche verso la città con la costruzione di due grossi baluardi rivolti verso il piazzale occidentale: il bastione di San Pietro ed il baluardo di S. Pasquale. Nella piazza, denominata piazza Castello, fu posta nel 1722 la statua di San Giovanni Nepomuceno. Il forte era costituito da una poderosa cinta bastionata di forma trapezoidale con una serie di edifici, disposti lungo il perimetro, che lasciavano una vasta area libera attorno al mastio. Nell’area della fortezza era anche la chiesa parrocchiale di San Silvestro. 

Nel 1517 il Castello fu per breve tempo sede del vicerè; vi si trovavano le carceri per il ceto nobile e per i rei di delitti contro lo Stato. Da qui l’artiglieria borbonica lanciò l’offensiva verso la città durante le insurrezioni del 1860. 

In quello stesso anno si iniziò la demolizione del forte militare per ordine di Garibaldi, tuttavia il completo smantellamento del Castello fu compiuto nel 1922 per la costruzione del pontile trapezoidale del porto. 

I resti del Castello a mare sono oggi visibili, dopo gli scavi effettuati negli ultimi anni; si possono visitare alcuni edifici del torrione d’accesso, una torre circolare, e sono riemersi i fossati occidentali.