Nîmes Olympique, retour à la dure réalité