Em 1276, Guglielmo VII (marquês de Monferrato) construiu uma construção fortificada incorporando o antigo portão de Praetoria da era romana localizado na entrada leste da cidade e formado por duas torres com uma base de dezesseis laterais unida por uma parede com quatro fornos.Ao fechar a porta, era necessário abrir uma nova passagem nas paredes:, portanto, foi construída Fibellona Porta.
Posteriormente, entre 1317 e 1320, Filippo Primeiro Príncipe de Savoy-Açaia inicia a construção de um complexo encostado nas paredes fortificadas entre as duas torres e projetadas fora do cinturão romano, em direção ao PO. Do século XV, foram feitas novas mudanças na estrutura, sob as ordens do último príncipe da Acaia: Ludovico.
Depois que a função defensiva é perdida, o edifício foi usado como uma residência pelo verdadeiro Madames.Sob Maria Giovanna Battista, de Savoy-Nemours, Filippo Juvarra construiu a fachada barroca (Palazzo Madama) e a magnífica escada monumental interna.
Tornou -se a sede da vida da corte e o aparato burocrático do Reino Savoy, o castelo assumiu o papel do pólo funcional da cidade.