一家で焼き肉屋を経営していたそうですが、経営不振によりご主人が自殺したそうです。「人肉館」という名前は、経営が悪化し始めた頃に肉を仕入れられなくなった主人が、人肉を解体して食べさせていた…という有り得ない噂から来ているようです。また、この一家が強盗に惨殺されたという説もあるそうです。
実際は名前から連想されるような恐ろしい廃墟ではありません。中には、髪の長い女が壁越しにじっとこちらを睨みつけていたのを見たとか、突然強い力で誰かに突き飛ばされたという体験をした方もいるようですが、この付近にある数件の廃墟での目撃談の方が多いようです。