Por su solemnidad y sus majestuosas proporciones, el palacio es uno de los más suntuosos de la ciudad. Se llama "clave" por su forma y su "teclado" debe ser el lado corto con dos balcones que miran hacia el Tiber. Comenzó en 1560, probablemente después de un diseño de Vignola, fue completado por Flaminio Ponzio y Carlo Maderno en 1614.

Sobre el portal del lado largo, que tiene dos columnas dóricas que sostienen un balcón, hay un abrigo grande. de armas de la familia. El segundo portal, que tiene la misma forma que el anterior pero no tiene escudo de armas, se abre hacia el lado de la plaza. Esta es la entrada a un gran patio con un doble orden de columnas y al final está el extraordinario "baño de Venus", un ninfeo con estatuas, escaladores y fuentes.

Durante mucho tiempo, la planta baja albergó la colección de pinturas que se trasladó a Villa Borghese en 1891.