Construido por Frederick II en 1227 con materiales de edificios anteriores, el castillo suabo de Brindisi, conocido también como "castillo de la tierra", se encuentra en el corazón de la ciudad.

La construcción del castillo y las numerosas modificaciones que ha sufrido posteriormente están vinculadas a algunas de las figuras más influyentes de la historia de Italia y Puglia. Posteriormente fue restaurado por los angevinos, ampliado por los aragoneses en el siglo XV y fortificado por Carlos V en el siglo XVI.

Fue utilizada como prisión en los siglos XVIII y XIX, antes de convertirse en la residencia de la Familia Real en la década de 1940, después de que habían huido de Roma.

Durante la Segunda Guerra Mundial, entre septiembre de 1943 y febrero de 1944, el castillo sirvió de residencia al rey Víctor Emmanuel III de Italia, a su esposa, la reina Elena, y al general Badoglio. Habiendo huido de Roma, establecieron su base en el castillo, convirtiéndose así en la capital temporal de Brindisi, Italia.

Hoy en día el castillo es utilizado por el Comando Naval.