Situado ao norte de Porta Praetoria, na área arqueológica do teatro romano e cercada por casas medievais originais, recebe esse nome da família Noble De Casei (posteriormente galicizada a Fromage) que o ocupava na Idade Média.

Citado pela primeira vez em um documento de 1191, a torre mudou de mãos para a família Noble Vaudan no século XV, após o casamento de Claude Vaudan com Jeannette du Fromage, o último descendente dessa linha.

A torre, com plano quadrado e não muito alto, um lado apoiado pelas paredes da cidade e a outra por uma parede que apoia o Agger, preserva sua configuração original.