神社には大きな岩があり、帰りにその岩を見ると災いが降りかかるという噂や、狐に化かされる、老婆の霊が現れる、鳥居の上あたりでゆらゆらと浮遊する生首が現れる、気分が悪くなる、車に手形が付くなどなどいくつも噂されている。
心霊現象がいくつも噂されていて遊び半分で行くと呪われると言われており、肝試しに訪れた帰りに事故を起こした人も居るようだ。
なぜ「ビビリ神社」という風に呼ばれているのかははっきりしてないが色々な心霊の噂が有る事から怖がってすくむ「びびる」から来ているのかもしれない。
北海道函館市石倉町102−7