Il Palazzo fu realizzato sull'area venutasi a liberare a seguito di un rovesciamento politico, avvenuto nel 1304, che comportò la demolizione, a furor di popolo, delle case di Alberto Scotti e dei suoi familiari, evento che  viene storicamente ricordato come “Il Guasto”. Gli accordi per una nuova costruzione (1717-1726) furono presi con l’architetto Ignazio Cerri e suo figlio Paolo. L'edificio è caratterizzato da una forte componente classicista, tesa verso una struttura semplice e lineare, ma di notevoli dimensioni, come si evince dall'ingresso del grande portale con il massiccio balcone  in granito lavorato a volute con sottostante stemma gentilizio e il nome del marchese Filippo e dal grandioso atrio a tre navate.

L'andamento dello scalone nel grande vano a pianta quadrata presenta una configurazione inconsueta e fortemente monumentale per i solidi pilatri quadrati, considerata di stampo romano. Splendido il salone d'onore integralmente affrescato con porte adornate di finte cornici marmoree e con trofei militari alle pareti. Gli autori dell’importante apparato figurativo della volta del salone sono Bartolomeo Rusca, per il gruppo delle figure (Carro trionfale del Merito, seguito dal Tempo prigioniero e preceduto dalla Fama che tiene stretta la Fortuna, allegoria celebrativa della famiglia Scotti da Vigoleno), mentre gli affreschi relativi ai motivi architettonici sono riconducibili ai fratelli Giuseppe e Francesco Natali. Dal 1875 il Palazzo appartiene al Governo, che lo ha destinato a sede della Prefettura.