Favori, Toulouse se déplace à Clermont avec méfiance