Una parte della città si estende sulle sponde di un crepaccio profondo più di 100 metri, molto simile ai canyon, scavato nella roccia calcarea dal Torrente Gravina, affluente del Bradano. Da esso prendono il nome le famose "gravine" della Murgia, un territorio caratterizzato dalla presenza di numerose cavità carsiche, come la Gravina di Botromagno e il profondo Pulicchio di Gravina.