La chiesa di San Paolo eremita è una chiesa gotica eretta dai francescani.

In questa posizione era l'arx romano messapica in seguito utilizzata e riattata da bizantini e normanni. Dismessa in seguito alla costruzione del Castello Grande, l'area su cui insisteva fu acquisita dai francescani che vi edificarono il loro convento. La chiesa e il convento forse furono conclusi nel 1322, grazie alla munificenza di Roberto d'Angiò. La facciata, che minacciava di crollo, fu rifatta ai primi dell'Ottocento arretrata di alcuni metri. 

Soppresso il convento francescano, una parte di esso fu destinata a uffici della Sottoprefettura poi della Prefettura; in aree pertinenti al complesso vennero costruiti gli uffici della Provincia e un edificio scolastico. La chiesa è stata oggetto di restauri nel 1964.

All'esterno la parete meridionale presenta alla base dei filari di tufo carparo a bugnato che si ritiene appartengano alla preesistente struttura fortificata. Originali sono le monofore che si aprono in alto e il portale laterale di semplici forme gotiche.

Nell'interno, a un'unica ampia navata, interessanti gli elaborati altari barocchi e i loro dipinti. Lungo la parete meridionale: altare di San Giuseppe da Copertino (XVIII secolo); altare di Sant'Antonio da Padova (1632), con statua lignea; altare di Santa Maria, forse dello Zimbalo, con la tela Madonna del Carmine con i santi Caterina, Paolo eremita, Diego e la famiglia Perez Noguerol attribuita a Alessandro Fracanzano (1603). Lungo la parete settentrionale: altare del Santissimo Crocifisso, con una Deposizione di Cristo; altare dell'Immacolata (1741) con l'Immacolata Concezione, tela secentesca di artista locale; nella nicchia statua lignea della Madonna del terremoto (XVIII secolo) ritenuta miracolosa; altare dei Ss. Vito, Modesto e Crescenzio. Il Transito di san Giuseppe e l'Annunziata sono di artisti locali (XVII secolo); la piccola tela della Madonna della Concordia, (fine del XVI - primi del XVII secolo) proviene dalla omonima chiesa demolita; in fondo alla navata sinistra la Visitazione, opera autografa del nobile pittore brindisino Jacopo de Vanis che l'eseguì nel 1559 per l'altare sotto lo stesso titolo poi demolito.

Da notare cospicui resti di affreschi trecenteschi (parete destra e abside): L'albero della Croce, Santi e Madonna con Bambino sulle pareti del coro; ancora Santi, Storie di santa Maria Maddalena, Scene cortesi, Santo Stefano, sulla parete meridionale della navata.

Presso l'abside lapide con stemma di Nicolò Castaldo e consorte (1309).

La cappella del Ss. Sacramento o di San Francesco fu voluta dallo storico brindisino Giovanni Maria Moricino (1558-1628) che a Venezia, con ogni probabilità, fece modellare la statua lignea di San Francesco. Belle sepolture secentesche di Francesco Moricino e di Obedienzo Vavotici.

Nella sacrestia è un grande armadio, opera di ebanisteria locale, datato 1725.