兄の俊介、姉、本人の3人兄妹の末っ子であり、母子家庭育ち。家庭環境について伊藤は2021年6月12日放送の『人生最高レストラン』で、今は亡き父親が「若干やらかして飛んだ」と蒸発し、家を追われて一家離散したことを明かした[23]。幼少の頃両親が離婚して以来3兄妹は母に引き取られ、母と母の姉（伊藤にとって伯母にあたる）に育てられた[24]。ボロボロのアパートに暮らし、3枚の布団で家族5人が寝る形だったが伊藤は「うれしかった。みんなを近くに感じられるから」と述べた[23]。母は塗装の職人である[25]。伊藤は兄について「昔から兄とは映画やお笑いの趣味が似ていたのでいつも兄の感想が気になるし、私の仕事を見ていてほしいと思う人」と述べている[25]。現在もたびたび実家に帰省している[26]。