Christophe Castaner, ministre de plus en plus fragilisé