Accusé d'ouvrir ses portes à l'extrême droite, Bayard rétropédale