Pascal Brindeau, battu aux législatives, abandonne tous ses mandats