Palazzo Castagola è situato nel centro storico della città, proprio nei pressi della centralissima piazza Sant'Agostino e del caruggio di via del Prione.

Il Palazzo è stato quasi completamente trasformato nei prospetti esterni a seguito di un intervento compiuto negli anni successivi alla prima guerra mondiale che ha comportato, tra l'altro, lo spostamento del portone principale posto sulla via Sant'Agostino e che oggi si trova in via Gioberti.

In origine il palazzo apparteneva alla nobile famiglia Castagnola; al suo interno sono conservate le tracce inequivocabili di un fastoso passato che mostrano una impostazione barocca della struttura, arricchita da insegne araldiche scalpellate all'avvento della Repubblica Ligure.