ห้องสมุดประชาชนอำเภอเกาะสมุย ตั้งอยู่ในพื้นที่ของศูนย์ส่งเสริมการเรียนรู้อำเภอเกาะสมุย เดิมชื่อว่า ศูนย์บริการการศึกษานอกโรงเรียนอำเภอดอนสัก ตั้งอยู่ หมู่ที่ 5 ตำบลอ่างทอง อำเภอเกาะสมุย จังหวัดสุราษฎร์ธานี กศน.อำเภอเกาะสมุย เป็นสถานศึกษาที่เปลี่ยนชื่อใหม่   ตามพระราชบัญญัติ สำนักงานส่งเสริมการศึกษานอกระบบและการศึกษาตามอัธยาศัย พ.ศ. 2551 มีผลบังคับใช้ตั้งแต่วันที่ 4 มีนาคม 2551 เดิมชื่อ ศูนย์บริการการศึกษานอกโรงเรียนอำเภอเกาะสมุย  ตามประกาศจัดตั้งของกระทรวงศึกษาธิการ  สังกัดศูนย์การศึกษานอกโรงเรียนจังหวัดสุราษฎร์ธานี  เมื่อวันที่  27  สิงหาคม  2536  เดิมใช้สำนักงานศึกษาธิการอำเภอเกาะสมุย อาคารที่ว่าการอำเภอเกาะ สมุยเป็นที่ทำการ  ต่อมาเมื่อปี  พ.ศ.2538  ได้ย้ายสำนักงานมาที่ห้องสมุดประชาชนอำเภอเกาะสมุย บริเวณวัดศรีทวีป หมู่ที่  5 ตำบลอ่างทอง อำเภอเกาะสมุย  จังหวัดสุราษฎร์ธานี  เมื่อปี พ.ศ. 2553 สำนักงาน กศน.ได้แจ้งให้สถานศึกษาที่ใช้สถานที่ของห้องสมุดประชาชนเป็นทำการ ให้หาสถานที่ของสถานศึกษาให้เป็นเอกเทศ ด้วยเหตุนี้บุคลากรของ กศน.อำเภอเกาะสมุยจึงร่วมกับนักศึกษาและเครือข่ายสร้างอาคาร  กศน.อำเภอเกาะสมุย เป็นเอกเทศ จำนวน 1 หลัง อยู่ในบริเวณเดียวกับห้องสมุดประชาชนอำเภอเกาะสมุย จนถึงปัจจุบัน ที่ตั้งของ กศน.อำเภอเกาะสมุย ตั้งอยู่หมู่ที่ 5 ตำบลอ่างทอง อำเภอเกาะสมุย  จังหวัดสุราษฎร์ธานี ระยะห่างจากจังหวัดสุราษฎร์ธานีไปทางทิศตะวันออกเฉียงเหนือประมาณ 84 กิโลเมตร  เนื่องจากเกาะสมุยมีสภาพเป็นเกาะ ล้อมรอบด้วยผืนน้ำของอ่าวไทย  จึงมีอาณาเขตติดต่อกับทะเลในเขตอำเภอใกล้เคียง