L'oratorio di Nostra Signora di Castello si trova nel centro storico di Savona e si affaccia su piazza Sisto IV, a fianco del palazzo comunale.

L'oratorio è sede della più antica confraternita di Savona (1260), qui trasferitasi dopo che gli edifici religiosi sulla collina del Priamar (luogo originario ove risiedevano tutte le confraternite savonesi) vennero demoliti per lasciare posto alla fortezza genovese. In origine l'oratorio fu costruito dietro la cattedrale di Nostra Signora di Castello, da cui né derivò l'intitolazione conservata fino ai giorni nostri. L'edificio attuale è il rifacimento (databile al 1755) di uno precedente del XVI secolo, distrutto in gran parte da un incendio. L'acquisto del terreno per la prima costruzione fu infatti portato a termine tra il 1544 e il 1563, come ricorda una iscrizione su ardesia ancora esistente in loco. Tra il 1863 e il 1895 l'oratorio fu inglobato nei nuovi edifici civili, così come lo vediamo oggi. La Confraternita di Nostra Signora di Castello è aggregata all'Arciconfraternita di Santa Maria dell'Orto in Roma, come da strumento notarile redatto il 30 aprile dell'anno giubilare 1600 presso la stessa Arciconfraternita.


La struttura è a navata unica con volta a botte e presbiterio semicircolare, decorata all'interno da stucchi rococò di Giuseppe Petonti (bergamasco) dal profilo molto semplice e sobrio, restaurati nel 2008. Le pareti laterali e la facciata sono rifasciate internamente dagli stalli lignei su cui siedono i confratelli. L'altare risale al 1920 circa e ha la porta del tabernacolo in argento sbalzato. Ai suoi lati, nelle mura del presbiterio, si aprono due loggette decorate da Agostino Ratti, mentre sopra di esso si impone il grandioso polittico di Vincenzo Foppa e Ludovico Brea del 1490, sopravvissuto alla distruzione dell'antica cattedrale del Priamar. 
Sono presenti inoltre tre casse processionali portate a spalla durante la tradizionale processione del Venerdì Santo. La prima è La pietà di Stefano Murialdo del 1833. La seconda è La deposizione dalla croce di Filippo Martinengo e risale al 1793. La terza è Il Cristo morto sulla croce, di scuola romana della metà del Cinquecento, donato nel 1728 dai Della Rovere. Vi sono poi due crocefissi processionali: fine XVIII secolo e seconda metà XIX secolo con canti in argento del 1838. 
In controfacciata troviamo una tela della Madonna di Misericordia di Paolo Gerolamo Brusco e dietro di essa, l'organo a canne Agati di Pistoia del 1863, op. 497, restaurato da Graziano Interbartolo nel 2011. Altre tele fanno bella mostra lungo le pareti e risalgono al XVIII secolo e XIX secolo. Non mancano un inginocchiatoio secentesco finemente intagliato, alcuni reliquiari e 6 Mazze Pastorali del priore e vicepriore. Due risalgono al 1920, due sono in argento della prime metà del XIX secolo e la terza coppia sono opera di Stefano Brilla e risalgono alla seconda metà dell'Ottocento. 
Da segnalare infine il prezioso Reliquiario della Santa Croce in argento a tratti dorato, opera degli orafi Giusti di Savona del 1722 e scampato alle depredazioni napoleoniche.