これ固定資産税払ってないでしょ
だったら(さっきの爺さんの了解だけで)強制的の差し押さえて取り壊せばいい