本堂の裏手にある高さ約24～45cmほどの卵頭形の自然石は、早出川の東光院淵より得たものといわれ、卵頭形の石が発見される時は、当寺住職の死期を示すとの伝説がある。（下記：オボト石）

　境内には五輪線刻の供養塔が6基ある。

　山内上杉家の祖上杉憲顕に仕えて上野国と越後国の守護代を兼ねて長尾氏を中興させた長尾景忠の子孫。代々上野国に土着し、景忠の孫のとき白井（群馬県渋川市）を本拠地とする白井長尾家と総社（群馬県前橋市）を本拠地とする総社長尾家（惣社長尾家）とに分かれた。ただし、両長尾家とも白井城・蒼海城（総社城）を拠点にしていたのは戦国期のこととみられ、それがいつまでさかのぼるのかは不明である。 

　白井長尾家は、景仲とその子景信のとき、上野守護代、武蔵守護代、山内上杉家家宰職を兼ねて重きをなしたが、景信の死後、家宰職を総社長尾氏に奪われた景信の子長尾景春が山内上杉家に反乱を起こした（長尾景春の乱）。 この乱で景春は太田道灌に攻められ鉢形城を失い、続く長享の乱では白井城を失うが、永正の乱では越後の長尾為景、相模の北条早雲と連携し勢力を盛り返す。その後も白井長尾家は、上野国で勢力を保持し、山内上杉氏に対抗し続けた。 

　総社長尾家は、白井長尾家に代わって長尾忠景が家宰となったが、忠景の孫・顕方の代に家宰職を足利長尾氏に奪われてしまう（永正の乱）。その後、庶流の高津長尾家が総社長尾家の家督を奪ってこれを継承するが、同家は後北条氏に通じ、白井長尾氏、越後長尾氏に続いて山内上杉傘下から離脱するが、山内上杉方に残った長野氏の攻勢に押されるようになり、白井長尾氏・景春の孫の長尾景誠が暗殺されると、長野業正の影響下の元、白井・総社の両長尾氏は山内上杉傘下に復帰した。 

やがて上野に後北条氏の勢力が及ぶようになると、主君である山内上杉家当主の上杉憲政が上杉氏の名跡を一族の長尾景虎（後の上杉謙信）に譲るという事態が起こり、上野国の両長尾家も景虎（謙信）に仕えるようになる。 

　総社長尾家（高津長尾家系）は武田信玄に所領を攻められて上杉謙信を頼って越後国に落ち延び、天正13年（1585年）に長尾景秀（平太）の戦死によって断絶したとされる[要出典]。だが、上杉氏家の分限帳などから、実際にはその後数代続いて慶長元年（1596年）に死去した2代目の長尾平太（実名不詳）の代に断絶したという。 

　白井長尾家は謙信の死後、上杉氏が上野に対する影響力を失うと、武田勝頼、ついで織田信長の部将滝川一益に仕え、本能寺の変により一益が退くと、後北条氏の配下に入った。天正18年（1590年）、小田原征伐で後北条氏が滅ぶと上野の領地を失い、越後に行って上杉景勝に仕え、後に米沢藩士となった。

（現代語訳）

　新潟県中蒲原郡村松の町から東に一里（約４キロ）のところに来迎寺という村があり、そこに寺がある。寺の名を永谷寺と言い、曹洞宗である。この寺の近くに川があり、早出川と言う。寺より八町（約９百メートル）ほど下ったところに観音堂があり、その下を流れる名所を「東光ヶ淵」と言う。永谷寺の住職となる僧侶は、この淵へ血脈を投げ入れる昔からの慣わしがあった。

　　さてこの永谷寺の歴代のある住職が遷化（逝去）された年の前年、この淵より墓の石に相応しいまん丸い自然の石が一つ岸に上がっていた。これを「無縫塔」と名付け今日に伝わっている。この石が川より上がれば、その翌年には必ずその代の住職は病死するという。しかしこの事実は昔から今日に至るまで、一度も外れたことがなかった。この墓石は大小さまざまで、住職の気に入らないものも中にはあり淵へ返すと、その夜に淵が激しい波を起こして、住職の好む石を淵に出したこともしばしばあった。ある年、生臭坊主がこの寺の住職となり、この石を見て死を恐れその土地を逃げ出して姿をくらましたところ、翌年よその県で病死したそうな。思うに、この淵に「霊」があって、その者の自然の死を示すのだろう。

　　友人である北洋主人（蒲原郡見附の旧家、文豪家であった）が、前文に述べた寺を実際に見たという話しに、本堂の幅１０間（約２０メートル）、右側に庫裏、左側に８間（１６メートル）と６間（１２メートル）の坐禅堂があり、本堂に行くまでの坂の左側に鐘楼があった。禅堂の裏側に蓮池がある。上の方に坂があって登っていくと、歴代の住職の墓所があった。例の淵より上げ出された円石を人の作った石台を脚としてそこにのせて墓としていた。中央の石が開山とし、左右に順に２３基ある。大きいものは直径１尺２、３寸（約４０センチ）あり、８、９寸や６、７寸のものもある。この大小の大きさは、その当時の和尚の生前の「徳」に相応じるものと伝わっている。台の高さはどれも１尺（約３０センチ）だと言われている。

　　例の淵に霊が宿っているという伝えは、その昔、永光寺（永谷寺の誤り）の近くに身分の高いお方が住んでいたという。その妻が旦那の不貞操を妬み、恨んで自分の身を東光ヶ淵に沈め、無実で悔やみきれずに死んだ魂が悪竜と化して村の人たちを悩ましていた。それを永光寺（永谷寺の誤り）の開山（大潮浮舶大和尚）が血脈をその淵へ入れて、化度（仏の教えによって安楽へと導いて救うこと）させてやり、悪竜は成仏し、その礼として例の墓石を淵に出してやり歴代の住職の死期を教えてあげることにした。

　　この故に、今に至っても住職となる時は淵に血脈を沈ませるのであると寺説に伝えてある。

　　鈴木牧之老人がこの原稿をみた時、「無縫塔」の「縫」の字が意味が通じず、誤字ではないかと飛脚を出して問い直したが、「無縫塔」と書き伝わっていると言う。「雲根志」には「無帽塔」とある。しかし「帽」の字もまた当て字のようだ。おそらくは、「無望塔」であろう。住職の死ぬのが辛いだけに、「無望塔（望み無き塔）」と定めたのであろう。しかしこれはあくまで小生の出鱈目で根拠のない談話であり、正当な実説を知る方の確かなる見聞を待つのであります。