戦国時代に鵜沼城という城があった跡地に1927年（昭和2年）頃に「三輪市太郎」という犬山橋の建設に尽力した政治家が別荘を作った。

1930年（昭和5年）に「三輪市太郎」が亡くなってからは、彩雲閣の別館、井善中店、進駐軍の将校クラブと変わり、1953年ころ料理旅館「城山荘」として経営されていた。一時はかなり賑わっていたようだったが、1972年の火事をきっかけに廃墟となった。

独特の建築だった為に廃墟ファンに人気にもなり、心霊スポットとして噂されるようになった。

殺人事件があったという噂もあったが詳細は不明。

2002年に解体された。

岐阜県各務原市鵜沼南町7丁目221