ชื่อถ้ำพระหอมากจากคำว่า "ถ้ำพระห่อ" อันเป็นที่มาของการห่อศพพระเก็บไว้ในถ้ำ ต่อมาพ่อท่านเลื่อนได้จาริกบุญมาจาก จังหวัดสงขลา และได้สร้างกุฎิบนถ้ำ นอกจากนี้ที่นี่ยังมีถ้ำช้าง ที่มีหินรูปหัวช้างซึ่งพบโดยแม่ชีมณีรัตน์ พระทันใจกลางน้ำ เชิงตะกอนเผาศพสมัยอดีต และจตุคามรามเทพองค์ใหญ่