Palazzo Doria si trova nel centro storico della Spezia ed è situato lungo il caruggio di via del Prione agli incroci con le vie Sapri e Gioberti. Il palazzo, nonostante abbia subito numerose modifiche, costituisce un importante esempio di architettura residenziale di chiara impronta ligure.

Di particolare importanza sono il portale dotato di arma marmorea, l'ampia estensione delle aperture del piano nobile e le colonne con doppio capitello comprese in alcuni fondi sulla via Sapri.
Il palazzo fu abitato dalla famiglia fino agli anni '40 dell'Ottocento, quando la famiglia Doria si trasferì nel nuovo palazzo in via Chiodo (peraltro distrutto dai bombardamenti del 1944).

Il piano nobile dell'edificio, rimasto vuoto dopo il trasferimento degli antichi proprietari nel nuovo palazzo di via Chiodo, fu adibito ad albergo, la Locanda Croce di Malta.

Proprio sopra l'entrata principale del Palazzo si trova oggi una lapide commemorativa che ricorda: "QUI, NELL'ESTATE DEL MDCCCLIII IN UNA LOCANDA DELL'ANTICO BORGO A RICHARD WAGNER SI RIVELÒ UNO SPLENDIDO ACCORDO MUSICALE E PRESE FORMA IL PRELUDIO DELL'ORO DEL RENO - IL COMUNE DELLA SPEZIA POSE MCMLXXXIII". Il grande compositore tedesco ha infatti frequentato le rive del golfo spezzino. Il 5 settembre 1853 ebbe l'ispirazione musicale, ammirando il mare e le onde che s'infragevano sugli scogli della città antica, per comporre l'introduzione dell'Oro del Reno, momento che ha indicato l'inizio della composizione della tetralogia.