เริ่มจัดตั้งศูนย์บริการการศึกษานอกโรงเรียนอำเภอเขาย้อย  เมื่อปี พ.ศ.2537 ซึ่งอยู่ร่วมกับห้องสมุดประชาชน “เฉลิมราชกุมารี” อำเภอเขาย้อย ตั้งอยู่ หมู่ 5 ตำบลเขาย้อย  อำเภอเขาย้อย  จังหวัดเพชรบุรี

               พ.ศ.2543 มีนโยบายจากกรมการศึกษานอกโรงเรียนให้แยก ศูนย์บริการการศึกษานอกโรงเรียนอำเภอเขาย้อย ออกจากห้องสมุดประชาชน จึงได้ขอใช้กุฏิหลังเก่าของพระวัดพระธาตุศิริชัย  ซึ่งอยู่บริเวณหลังห้องสมุดประชาชน แต่เนื่องจากกุฏิดังกล่าวมีลิงรบกวนเป็นประจำทำให้เป็นอุปสรรคต่อการปฏิบัติงาน จึงได้ย้ายออกจากกุฏิในปี พ.ศ. 2545 และในปีนี้เองมีการเปลี่ยนชื่อเป็น ศูนย์บริการการศึกษานอกโรงเรียนอำเภอเขาย้อย

               พ.ศ. 2545  ได้ย้ายไปเช่าอาคารหมู่ 1 ถนนเพชรเกษม ตำบลเขาย้อย อำเภอเขาย้อย เนื่องจากอาคารอยู่ติดถนนเพชรเกษมทำให้มีเสียงรบกวน  และมีอุบัติเหตุบ่อยครั้ง  จึงหาสถานที่เช่าแห่งใหม่

                 พ.ศ. 2546  ได้ย้ายไปเช่าห้องเช่าชั้นเดียวในโครงการเขาย้อยเมืองใหม่  หมู่ 5 ตำบลเขาย้อย

               พ.ศ. 2547  เนื่องจากสภาตำบลทับคางยุบรวมเป็น องค์การบริหารส่วนตำบลเขาย้อย ซึ่งตั้งอยู่หมู่ที่ 1 ตำบลเขาย้อย อาคารสภาตำบลได้ว่างลง  กศน.อำเภอเขาย้อย จึงได้ขอใช้สถานที่เป็นสำนักงาน ตั้งอยู่หมู่ที่ 5 ตำบลทับคาง อำเภอเขาย้อย จังหวัดเพชรบุรี

           พ.ศ. 2566 สำนักงานส่งเสริมการศึกษานอกระบบและการศึกษาตามอัธยาศัย ยกฐานะเป็น "กรมส่งเสริมการเรียนรู้" และเป็นนิติบุคคลภายใต้กระทรวงศึกษาธิการ ประกาศในราชกิจจานุเบกษา เมื่อวันที่ 19 มีนาคม พ.ศ. 2566 มีผลบังคับใช้เมื่อวันที่ 18 พฤษภาคม พ.ศ. 2566 ทำให้ศูนย์การศึกษานอกระบบและการศึกษาตามอัธยาศัยอำเภอเขาย้อย เปลี่ยนชื่อเป็น “ศูนย์ส่งเสริมการเรียนรู้อำเภอเขาย้อย” สังกัดสำนักงานส่งเสริมการเรียนรู้จังหวัดเพชรบุรี กระทรวงศึกษาธิการ และ กศน.ตำบล เปลี่ยนชื่อเป็นศูนย์การเรียนรู้ตำบล และในวันที่ 10 มิถุนายน พ.ศ. 2567 ประกาศกรมส่งเสริมการเรียนรู้ เรื่อง กำหนดชื่อย่อสำนักงานส่งเสริมการเรียนรู้ประจำจังหวัด/กรุงเทพมหานคร และศูนย์ส่งเสริมการเรียนรู้ระดับอำเภอ/เขต กำหนดชื่อเป็น“ศูนย์ส่งเสริมการเรียนรู้ระดับอำเภอเขาย้อย” ชื่อย่อ สกร.ระดับอำเภอเขาย้อย  ศูนย์การเรียนรู้ระดับตำบล ชื่อย่อ ศกร.ระดับตำบล สังกัดสำนักงานส่งเสริมการเรียนรู้ประจำจังหวัดเพชรบุรี (สำนักงาน สกร. ประจำจังหวัดเพชรบุรี) กรมส่งเสริมการเรียนรู้ กระทรวงศึกษาธิการ