Accusé d'ouvrir ses portes à l'extrême-droite, Bayard rétropédale