警察手帳見せただけで「刑事さん？」って言うのは何でなんだぜ？

警察官＝刑事とは限らないと思うんだが、職務中に私服が許されるのが刑事だけとかそういう理由なの？