Agglo de GrandAngoulême : défendu par la gauche, Vincent You perd sa vice-présidence