まだ建物が有った時代に訪れた人が、肩を叩かれて振り向くと女性の幽霊が手招きしていたという体験談や、人のいないはずの場所で叫び声や、人の声が聞こえてくる、誰かに見られている感じがするそうです。
手招きをしている女性の幽霊は、1982年（昭和57年）に刺されて死亡したスナック城のママではないかと言われている。1972年（昭和47年）に火災により城山荘の別館2棟が消失してからは、全身が焼け爛れた男の霊が出ると言われています。
2002年（平成14年）には建物は解体されたが、いまだに心霊現象が起きていると噂されています。
整備して公園化する計画が進んでいるが「麓」は私有地であり立ち入りはできない。フェンスや鉄条網、監視カメラで守られています。心霊スポットとして興味がある場合でも、絶対に無断侵入は避けてください。
鵜沼城跡（城山荘跡）の基本情報
木曽川に突き出した比高約40mの断崖絶壁（城山）に位置しており、対岸の愛知県犬山市にある国宝・犬山城と木曽川を挟んで向かい合う、戦略的に重要な立地です。別名「宇留摩城（うるまじょう）」や「志水山霧ヶ城」などとも呼ばれています。
2002年（平成14年）各務原市が土地を買い取り地元民の長年の要望により、老朽化していた廃墟は撤去された。
1982年（昭和57年）に麓にあったスナック「城」の経営者と麻雀荘経営者が城山荘経営者に刺され、妻が死亡。経営者が逮捕されたことで、城山荘は愛知県の都築紡績の手に渡る。
1972年（昭和47年）12月、旅館兼レストラン「城山荘」の別館2棟が火災により焼失。ストーブが原因とされ、建物が全焼したが死者は出なかったようです。この出来事から「全身が焼け爛れた男の霊」の噂につながった。
1930年（昭和5年）頃に個人の別荘が建てられたが、すぐに犬山の料理旅館が借り、別館として使用された。
1927年（昭和2年）愛知県の政治家で、犬山橋建設に尽力した三輪市太郎が別荘を城山内部や頂上に建てる。
1584年3月、廃城。
1429年-1440年、鵜沼のあたりを治めていた大沢利治によって築城。
岐阜県各務原市鵜沼南町７丁目２２１