Gelegen ten noorden van Porta Praetoria, in het archeologische gebied van het Romeinse theater en omringd door originele middeleeuwse huizen, krijgt het zijn naam aan de nobele De Casei -familie (later galiciseerd naar Fromage) die het in de middeleeuwen bezet.

Voor het eerst aangehaald in een document van 1191, veranderde de toren van eigenaar in de nobele Vaudan -familie in de vijftiende eeuw, na het huwelijk van Claude Vaudan met Jeannette du Fromage, de laatste afstammeling van die lijn.

De toren, met vierkante plan en niet erg hoog, de ene zijde ondersteund door de stadsmuren, en de andere bij een muur die de agger ondersteunt, behoudt het zijn oorspronkelijke configuratie.