Nel 1276 Guglielmo VII (marchese di Monferrato) fece costruire una costruzione fortificata inglobando l'antica Porta Praetoria di epoca romana posta all'ingresso orientale alla città e formata da due torri con base di sedici lati unite da un muro con quattro fornici. Chiudendo la porta fu necessario aprire un nuovo varco nella cinta muraria: fu dunque costruita Porta Fibellona. 
Successivamente, tra il 1317 ed il 1320, Filippo primo principe di Savoia-Acaia inizia la costruzione di un complesso addossato alle mura fortificate tra le due torri e proiettato all'esterno della cinta romana, verso il Po.
Verso il secondo decennio del Quattrocento furono apportate nuove modifiche alla struttura, su ordine dell'ultimo principe degli Acaia: Ludovico.
Una volta persa la funzione difensiva, l'edificio venne utilizzato come residenza dalle Madame Reali. Sotto Maria Giovanna Battista di Savoia-Nemours Filippo Juvarra edificò la facciata barocca (palazzo Madama) e il magnifico scalone monumentale interno.
Divenuta sede della vita di corte e dell'apparato burocratico del regno sabaudo, il castello assunse il ruolo di polo funzionale della città.