En 1497, una vez que Gilberto de Brunswick, el Virrey de Salento, Lecce y el Duque y el Conde de Matera, murieron en la batalla, el Rey de Nápoles Federico d'Aragona decidió vender la ciudad de Matera a Giancarlo Tramontano, Maestro de la Casa de la Moneda. Nápoles.
El impresionante cuerpo principal y las grandes torres cilíndricas laterales son, en realidad, solo una parte de la pared exterior que se suponía debía encerrar el edificio residencial.
El nuevo conde fue odiado tanto por la gente que sufría una carga fiscal excesivamente alta como por los barones que lo consideraban un competidor en los mercados de cereales, seda y lana.

Agredido en la catedral, el 29 de diciembre de 1514, intentó escapar a la casa, pero fue asesinado con un disparo en la cabeza por un hacha. El camino donde tuvo lugar la masacre se dice Vía Riscatto (en inglés: Redemption), para recordar la suma pagada por el pueblo para obtener el perdón del Rey.