Gadkari’s man quits, Modi back