山上家はもともと裕福な家だったのか