Situé au nord de Porta Praetoria, dans la zone archéologique du théâtre romain et entouré de maisons médiévales originales, il tire son nom de la noble famille De Casei (plus tard gallisée à Fromage) qui l'occupa au moyen-âge.

Cité pour la première fois dans un document datant de 1191, la tour a été transférée au XVe siècle au sein de la noble famille vaudoise, après le mariage de Claude Vaudan avec Jeannette du Fromage, dernière descendante de cette lignée.

La tour, de plan carré et peu élevé, d'un côté soutenu par les remparts de la ville et de l'autre par un mur soutenant l'agger, conserve sa configuration d'origine.