Xavier Philippe, de l'aviron à la chèvrerie