Mohamed Bayo à l'exil, Lille lui force la main