由来には諸説あるが、中でも注目すべきものとして、平将門にまつわる伝承は、後に鎌倉幕府という武士政権のもとに結集した東国武士の心のあり様を伝えるものといえる。
花園左エ門という人の家来が、平将門と戦って敗れこの地で亡くなった。やがて天慶の乱が終り世の中がおだやかになったので、その人の妻がこの地を訪れると、夢に夫があらわれ、「将門と戦ったため、いま村のある家の牛の子に生まれて苦しんでいる」と告げた。
妻はただちに尼となって観音さまに仕えたところ、その功徳によって夫の苦しみがなくなった、というものである。
また、あるとき牧童が草刈りをしていると牛が現れ坐って動かないので調べてみると、草の中に観音像を発見しお堂に祀った、ともいわれている。
平賀源内原図による本堂
当寺の本堂は秩父札所最大の規模で、平賀源内の原図を元に設計されたといわれている。