Theo sách "Đại Nam Nhất Thống Chí" thì trên núi Long Đội có chùa cổ lập từ thời Lý. Có bia chép việc Lý Thần Tông là hậu thân của Từ Đạo Hạnh. Giặc Minh đốt chùa và lật đổ bia, đến đời Lê lập lại chùa và dựng lại bia. Năm thứ 8 niên hiệu Quang Thuận (1467), vua Lê Thánh Tông đến thăm chùa :“Dư bái yết sơn lăng, lộ kinh sơn tả, toại đăng lãm yên. Tiếu Lý triều sự đản chi quân thần, ta quốc bộ tằng kinh ư binh tiển. Lưu nhất luật vu hữu.” 予拜謁山陵，路經山左，遂登覽焉。笑李朝事誕之君臣，嗟國步曾經於兵燹。留一律于右. Có nghĩa : Ta đi bái yết sơn lăng, đường qua bên tả núi này, bèn lên chơi chùa. Cười vua tôi triều Lý tôn sùng điều quái đản, thương đất nước trải nhiều phen binh lửa. Nên có đề một bài thơ dưới đây :

                                                                      💎登龍隊山提崇善延鈴寶塔碑後 

                                   ĐĂNG LONG ĐỘI SƠN ĐỀ SÙNG THIỆN DIÊN LINH BẢO THÁP BI HẬU

                                                千仞層巒古化城，   Thiên nhận tằng loan cổ Hóa Thành

                                                攀緣石磴扣禪扃。   Phan duyên thạch đặng khấu thiền quynh.

                                                李皇怪誕碑空在，   Lý hoàng quái đản bi không tại,

                                                明寇凶殘寺已更。   Minh khấu hung tàn tự dĩ canh.

                                                路少人蹤苔甲緑，   Lộ thiểu nhân tung đài giáp lục,

                                                山多春雨曉痕青。   Sơn đa xuân vũ hiểu ngân thanh.

                                               登高眼界無窮著，   Đăng cao nhỡn giới vô cùng trước,

                                               萬里茫茫草樹平。   Vạn lý mang mang thảo thọ bình

* Chú thích :

  - Long Đội Sơn 龍隊山 : là tên núi thuộc huyện Duy Tiên, tỉnh Hà Nam.

  - Thiên Nhận 千仞 : THIÊN là Một ngàn. NHẬN là đơn vị đo lường 7 thước của ngày xưa; THIÊN NHÂN là Môt ngàn nhận, chỉ Rất cao, rất xa. 

  - Tằng Loan 層巒 : chỉ Núi non trùng điệp, hết lớp nầy đến lớp khác.

  - Phan Duyên 攀緣 : leo trèo uốn quanh; trèo vòng vèo lên.

  - Đài Giáp 苔甲 : Những con bọ màu xanh có vỏ cứng sống trên rêu xanh.

  - Hiểu Ngân 曉痕 : Cái dấu chân buổi sáng in trên rong rêu.

  - Vô Cùng Trước 無窮著 : là không thể với tới được, ở trong câu ý chỉ :Tầm nhìn không thể thấy tới được.

* Nghĩa bài thơ :

      Lên núi Long Đội đề sau bia bảo tháp Sùng Thiện Diên Linh

       Trên dãy núi chập chùng cao cả ngàn nhận của cổ Hoá Thành ngày xưa, ta trèo vòng vèo các bậc đá lên để gỏ cửa nhà chùa. Việc quái đản của vua nhà Lý vẫn còn trơ trên bia đó, giặc Minh hung tàn nên chùa đã được thay đổi. Đường ít dấu người đi lại nên trên rêu đầy cả những con bọ xanh, và trong núi nhiều mưa xuân nên những vết chân buổi sáng vẫn còn xanh biếc. Mặc dù lên trên cao nhưng tầm  nhìn vẫn không thể thấy hết được, vì muôn dặm mênh mông cây cỏ phủ trùm một màu xanh bằng phẵng cả rồi !

* Diễn Nôm :

 ĐĂNG LONG ĐỘI SƠN ĐỀ SÙNG THIỆN DIÊN LINH BẢO THÁP BI HẬU

                                                                                                Ngàn nhận nhấp nhô thành cổ Hóa, 

                    Leo vòng bậc đá gỏ thiền môn,

                    Chuyện vua nhà Lý bia trơ đó,

                    Hung hãn giặc Minh tự hãy còn.

                    Đường vắng bóng người rêu phủ biếc,

                    Núi nhiều mưa sáng dấu xanh om.

                    Lên cao tầm mắt chưa nhìn hết,

                    Ngàn dặm cỏ cây khuất núi non !

                                                 Đỗ Chiêu Đức diễn Nôm