これが逆で、「牛飼いや自営業の人達は、室内でパソコンしたりお役所仕事をしてる県庁職員と違って、体力や商才がある」
的な発言だったとしたら、問題にはならないと思う
これを差別だと考えてる人こそ八百屋や農家に対して見下す意識があるから、差別発言だと感じるのでは