ถ้ำพญาบังสา ตั้งอยู่ในเขตพื้นที่หมู่ที่ 1 ตำบลย่านซื่อ อำเภอควนโดน จังหวัดสตูล ตามตำนานเล่าว่า เขาพญาบังสากับเขาเกตรี เป็นสามีภรรยากันและได้อยู่กินกันฉันสามีภรรยาเป็นเวลานานต่อมา เกิดการทะเลาะมีปากเสียงกันจึงเป็นเหตุให้ต้องแยกทาง พญาบังสาจึงได้เดินทางออกจากเกตรี และได้นำสัมภาระพร้อมด้วยรังไก่ ในระหว่างเดินทางรังไก่ที่นำมาด้วยได้ตกหล่นระหว่างทาง เกิดเป็นเขาน้อย อยู่หมู่ที่ 3 ในปัจจุบัน

พญาบังสาได้เดินทางมาถึงหมู่ที่ 1 ตำบลย่านซื่อ จึงได้ตั้งรากฐานทำให้เกิดเขาพญาบังสาในปัจจุบัน เมื่อมาอยู่ที่นี่แล้วพญาบังสา ก็ได้แต่งงานใหม่ คือเขาสอยดาวในปัจจุบัน ในอดีตที่ผ่านมา เขาพญาบังสาเป็นเขาที่ศักดิ์สิทธิ์ ผู้คนที่ผ่านไปมาต้องหยุดสักการบูชา ถ้าไม่สักการบูชาจะต้องมีอันเป็นไป และในสมัยสงครามโลกครั้งที่สอง ถ้ำพญาบังสายังเป็นที่หลบภัยของพวกทหารญี่ปุ่น ซึ่งมีร่องรอยปรากฏอยู่ในถ้ำ ซึ่งถ้ำพญาบังสามีช่องทะลุไปด้านหลังได้ คือ ถ้ำเสือที่อยู่หลังเขาแต่ไม่มีใครได้ขึ้นไปพิสูจน์