วัดเขาถ้ำม้าร้อง มีประวัติเป็นที่พักสงฆ์มาตั้งแต่สมัยที่พระพุทธศาสนาได้เริ่มเข้าสู่ประเทศไทย โดยพระสงฆ์ของชาวศรีลังกาและอินเดียได้เดินทางเข้ามาเผยแผ่พุทธศาสนาภายในประเทศไทยและประเทศพม่า บางส่วนได้เข้ามาพักพิงอยู่ภายในถ้ำแห่งนี้ในรัชสมัยพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวเจ้าพระยาบดินทร์เดชา (สิงห์ สิงหเสนี) ได้ออกปราบพวกโจรตามหัวเมืองต่าง ๆ ระหว่าง พ.ศ. 2385–2387 และได้มาพักที่หนองหัดไทย ซึ่งม้าของท่านได้หายไปแต่หาไม่พบ ได้ยินแต่เสียงม้าร้อง จึงเรียกภูเขานี้ว่า "เขาถ้ำม้าร้อง