Michel Barnier, l'heure des regrets