寺の創建年代は不詳だが、縁起によると、越中立山、加賀白山を中心に活躍した修験僧の泰澄大師（767年寂）がこの地に至った。
ある夜、気高き姫神が天降り、枯木を三段に伐って本と未で山神を祀り、真中の部分で聖観世音を刻し「我は日の神なり」と名乗られると、さらに三柱の神が現れ、真中の神が「我はこの山の奥に住む白山姫の神である」と名乗った、とある。
日の神は天照大神で、伊勢信仰に白山信仰が加わったものと考えられ、御詠歌の「天照らす」「雪の白山」はそれによるものと思われる。
またこの他の縁起として、武州恋が窪の慈悲深い遊女がこの寺の観音を篤く信仰し、修行人に怠らず施していた。
たまたま口内の痛みに悩んでいた時に、修行人から一本の楊枝をもらい、これで口内を漱いだところ、痛みがなくなった、という言い伝えがある。
口内の痛みに霊験ありとして、痛みを除くというお守り楊枝を授与している。
