高市早苗氏、総務会長の打診を固辞 「閣僚も受けるつもりない」