Situato in piazza dei Cavalieri, il palazzo ha cambiato nome nel tempo a seconda della magistratura che ha ospitato: da palazzo dell'Archivio e della Cancelleria nel medioevo a palazzo dei Priori dopo la conquista fiorentina (1409) a palazzo del Consiglio dei Dodici quando passò nelle mani dell'Ordine dei cavalieri di Santo Stefano.Sul finire del Cinquecento il palazzo venne ristrutturato dall'architetto Pietro Francavilla (autore anche quale scultore della Statua di Cosimo I davanti al vicino palazzo dei Cavalieri), che lo uniformò agli edifici circostanti per altezza e stile delle decorazioni di gusto tardo-rinascimentale. Il fregio sul cornicione ricorda come i lavori furono conclusi nel 1603 sotto il Granducato di Ferdinando I de' Medici. Il passaggio all'Ordine cavalleresco avvenne solo nel 1691, quando i priori si trasferirono a palazzo Gambacorti: qui i cavalieri stabilirono il loro tribunale, come ricorda anche l'iscrizione sul portale principale. 

La facciata è oggi caratterizzata da un intonaco sul quale risaltano le decorazioni in marmo bianco: le cornici delle finestre, il portale affiancato da due colonne, le aperture balsustrate al piano nobile, le cornici marcapiano, lo stemma, i rinforzi angolari e il cornicione.All'interno sono conservate numerose opere d'arte, come il busto cinquecentesco di Ferdinando I, il frammento di affresco dell'Assunta della scuola di Domenico Ghirlandaio (nella sala degli Stemmi al primo piano) e soprattutto il salone dell'Udienza, con le pareti completamente dipinte da Pietro Paolo Lippi e Antonio Giusti (1681-1683) con temi marinareschi e il notevole soffitto intagliato, dorato e dipinto con le Virtù cardinali di Ventura Salimbeni (1602); oggi al centro del soffitto della sala si trova il Trionfo di santo Stefano di Giovanni Camillo Gabrielli (1692), che sostituì il Trionfo di Pisa del Salimbeni dopo che l'edificio divenne di proprietà dell'Ordine.