ที่ทำการสถานีตำรวจภูธรขาณุวรลักษบุรี แต่เดิมตั้งอยู่ที่บ้านเกาะสามสิบ หมู่ที่ 3 ตำบลแสนตอ ตั้งอยู่ห่างจากที่ทำการสถานีตำรวจในปัจจุบัน ประมาณ 2 กิโลเมตร สาเหตุที่ย้าย เพราะทางราชการพ่อค้า ประชาชน ได้ย้ายที่ว่าการอำเภอมาสร้าง ณ ที่แห่งใหม่ ประกอบกับมีประชาชน ให้ความอนุเคราะห์สนับสนุนที่ดิน และช่วยเหลือในการสร้างสถานีตำรวจขึ้นใหม่ ให้เป็นที่ทำการได้ โดยสร้างเป็นอาคารไม้สองชั้น และได้แบ่งเขตพื้นที่รับผิดชอบจาก สถานีตำรวจภูธรอำเภอคลองขลุง เรียกว่า สถานีตำรวจภูธรกิ่งอำเภอขาณุวรลักษบุรี เมื่อปี พ.ศ.2488 โดยมี ร.ต.ต.หมื่นชาติ เดชกำแหง ดำรงตำแหน่งหัวหน้าสถานีตำรวจ เป็นคนแรก ที่ดินในการก่อสร้างอาคารที่ทำการ ได้รับการสนับสนุนที่ดินจาก นายสมพงษ์ พงษ์พูล พ่อค้าตลาดแสนตอ เป็นผู้อุทิศที่ดินให้เป็นพื้นที่ 15 ไร่ 92 ตารางวา และปรากฏเป็นที่ราชพัสดุหมายเลขทะเบียนที่ 5644 ในปัจจุบันนี้ ต่อมาได้รับการสนับสนุนงบประมาณจากทางราชการให้ปรับปรุงซ่อมแซมอาคารที่ทำการ บ้านพักของข้าราชการตำรวจเพิ่มเติม