La residencia fortificada de Sigismondo Pandolfo Malatesta, el gobernante de Rimini de 1432 a 1468, combinó una celebración de su destreza con necesidades defensivas. Su gran tamaño y la demolición de los edificios entre el castillo y la plaza cívica acentuaron su dominio sobre los poderes religiosos y políticos de la ciudad.

La imponente fortaleza tenía torres macizas y un muro exterior con escarpes y un amplio foso, y la torre estaba terminada en yeserías blancas para sobresalir contra el rojo de la puerta de entrada. El sistema defensivo, para el cual Filippo Brunelleschi actuó como consultor, también contó con cañones.

Como se confirmó durante la restauración, el castillo incorporó los restos de las murallas y torres romanas, la Puerta medieval de Gattolo y varias casas Malatesta. Sigismondo, como se ve en la inscripción sobre la puerta principal, afirmó en cambio que él mismo había construido todo el castillo. El trabajo comenzó en 1437 y duró unos 15 años, a pesar de que el castillo se vivió desde 1446 en adelante.

Hoy solo queda el núcleo original del castillo que se muestra en las medallas de Sigismondo y en el fresco de Piero della Francesca en el Templo de Malatesta. La puerta principal, sin embargo, aún está coronada por los brazos de Malatesta, mostrando un elefante y una rosa contra un fondo a cuadros.

Después de pasar a manos del Estado papal, desde el siglo XVII en adelante, el castillo fue modificado varias veces. Las paredes exteriores se demolieron, el foso se rellenó y los muebles se retiraron. Fue utilizada como prisión desde el siglo XIX hasta 1967, pero en la década de 1970 se inició un complejo proyecto de restauración preparado por Carla Tomasini Pietramellara.