Il Castello Svevo, detto anche "castello grande" o "di terra" (per distinguerlo da quello aragonese o "di mare"), è stato voluto nel 1227 da Federico II come residenza fortificata propria e per le sue guarnigioni (soldati saraceni e cavalieri teutonici), come difesa dalle ostilità dei brindisini rimasti affezionati ai Normanni e che mal sopportavano gli Svevi, contro i quali frequentemente si ribellarono. 

Per la sua costruzione furono impiegati materiali derivanti dalle vecchie mura e dai monumenti cittadini in rovina. Nel 1488 viene costruito dagli aragonesi un antemurale che circondava la parte a terra del castello, in questo modo è stato conservato il nucleo svevo originale. La nuova cinta muraria, più bassa delle torri sveve, era rinforzato da quattro torri circolari che meglio rispondevano ai canoni di architettura militare dell'epoca, considerata anche la comparsa delle armi da fuoco. Fu inoltre creato un nuovo ed ampio fossato. Altre modifiche vengono operate nel 1526 e nel 1530 al fine di assicurare una difesa più efficace. Abbandonato dagli spagnoli, venne trasformato in penitenziario da Gioacchino Murat nel 1813, e dal 1909 è utilizzato dalla Marina Militare. 

Il Castello è stato utilizzato anche come importante base navale nelle due guerre mondiali, dove venne ospitato nel 1943 il re Vittorio Emanuele III e vennero dislocate le funzioni di comando nel periodo in cui Brindisi fu capitale d'Italia (10/9/43 - 11/2/44).