Nel 1572 il conte Giulio Rangoni, signore di Roccabianca, acquistava da Bartolomeo Cantelli questo palazzo, attualmente sede della Prefettura. Nel 1690 parte dell'edificio diventava residenza dei principi Farnese: lo stemma farnesiano ancora ben visibile sul portale d'ingresso ne testimonia la proprietà. Con la morte di Ludovico IV (1762), ultimo dei Rangoni di Roccabianca, esso passava alla Camera Ducale che nel 1767 lo faceva restaurare per accogliervi i Regi Regolatori delle Finanze e l'impresa del Lotto.
Lo stato attuale del palazzo risale quasi sicuramente alla fine del secolo XVII, probabilmente ad opera di Giovan Battista Barberini e Ferdinando Bibiena. La facciata, compresa nei cinquecenteschi cornicioni in terracotta ed elegante nelle sue finestre arricchite da cornici e volute in stucco, ha nel portale l'elemento di maggior spicco: due pseudo telamoni su alti piedistalli presiedono all'ingresso a sorreggere il balcone balaustrato, il quale poggia sopra pesanti mensole. L'interno, che ha subito numerosi rifacimenti, presenta un androne e lo scalone ricchi di decorazioni e figure in stucco, attribuiti al Barberini e suoi allievi. 
Il palazzo è sede della Prefettura.