宮迫博之、『バイキング』降板の理由