この寺の創建については不詳ですが、役行者が開いた寺と伝えられ、807年に空海が中興したとされています。室町時代以降に隆興し、江戸時代には江戸幕府から朱印状を与えられましたが、明治以降衰退しました。
現在では自動車で日輪寺~山頂まで行ける道ができましたが、昔は参拝にくること自体が難しく、遥拝(はるかに遠いところから拝むこと)をする者も多かったと言われています 。