ขุนสวัสดิ์ภักดี นามเดิม ขอโผโล่ย เกิดเมื่อวันที่ 7 กันยายน พ.ศ. 2443 ณ เกาะคนฑี ตำบลปากน้ำ อำเภอเมือง จังหวัดระนอง เป็นบุตรนายเตี๋ย แซ่ขอ กับนางสุมะ มีพี่น้องร่วมบิดามารดาเดียวกัน 4 คน คือ
1. นางจันทรา (เจี้ยนซา) เชาวนจินดา (มรณะ พ.ศ. 2512)
2. นายจิ้นฮ้อง แซ่ขอ (มรณะ พ.ศ. 2521)
3. นายขอโผโล่ย (ขุนสวัสดิ์ภักดี)
4. นางโฉ่ย แซ่ขอ (มรณะ พ.ศ. 2496)
ในวัยเด็กบิดาของขุนสวัสดิ์ภักดีได้จ้างซินแสมาสอนลูก ๆ ที่บ้าน แต่ขุนสวัสดิ์ภักดีมักขออนุญาตซินแสไปทำงานเบ็ดเตล็ดแทน เพราะขุนสวัสดิ์ภักดีสนใจในด้านอุตสาหกรรม และการค้ามากกว่าการนั่งเรียน
โรงเลื่อยไม้เล็ก ๆ ที่บิดาของขุนสวัสดิ์ภักดีเป็นผู้ก่อตั้งขึ้น ขุนสวัสดิ์ภักดีได้ใช้แรงกาย และสติปัญญาบวกกับความอุตสาหะวิริยะอันเป็นอุปนิสัยของขุนสวัสดิ์ภักดี สร้างตนเองจากธุรกิจเล็ก ๆ ขึ้นมา จนเป็นนักธุรกิจสำคัญผู้หนึ่งของจังหวัดระนอง
ขุนสวัสดิ์ภักดีได้แต่งงานกับนางกิมเหลียง เมื่อปี 2463 หลังจากนางกิมเหลียงได้เสียชีวิตลงเมื่อ พ.ศ. 2482 และได้ทิ้งบุตรธิดาไว้ 5 คน คนสุดท้องอายุได้ขวบเศษ ๆ จึงได้สมรสใหม่กับนางสาวฮัยซิน เฮมบรี ในปี พ.ศ. 2484 ขุนสวัสดิ์ภักดีมีบุตรธิดารวม 11 คน คือ
1. นางเพ็ญศรี หงษ์หยก
2. นางเพลินพิศ พงษ์เพชร
3. นายกิติรัตน์ สวัสดิ์ภักดี
4. นางสาวแจ่มใส สวัสดิ์ภักดี
5. นางจิตต์มาลัย เดชา
6. นายกิตติศักดิ์ สวัสดิ์ภักดี (เสียชีวิต)
7. นายจรกิตติรักษ์ สวัสดิ์ภักดี
8. นางสาวมาริษา สวัสดิ์ภักดี
9. นางสุมนา อรุณกิจ
10. นางสาวไข่มุก สวัสดิ์ภักดี
11. นางสาวจิตมาลี สวัสดิ์ภักดี
ขุนสวัสดิ์ภักดีเป็นคนรูปร่างสูงใหญ่ มีสง่า สุขภาพสมบูรณ์ อุปนิสัยเป็นคนพูดน้อย สุขุม สุภาพ ขยันขันแข็ง ทำงานสม่ำเสมอ ไม่ถือตัว ชอบความสะอาด และมีระเบียบ ใจคอโอบอ้อมอารีต่อคนทั่วไป เห็นอกเห็นใจผู้อื่น และมักจะช่วยเหลือทุกคนเมื่อมีโอกาส แม้โดยส่วนตัวจะสนใจในงานอาชีพมากกว่าการศึกษา แต่ก็ได้พยายามส่งเสริมการศึกษาแก่บุตรธิดาทุกคนเท่าที่จะสามารถ และยังได้สนับสนุนการศึกษาของตำบลปากน้ำ ขุนสวัสดิ์ภักดีป็นหัวเรี่ยวหัวแรงช่วยสร้างโรงเรียนหลังแรกที่ปากน้ำระนอง เนื่องจากเงินงบประมาณมีไม่พอ ขุนสวัสดิ์ภักดีจึงรับทำการก่อสร้างให้ โดยใช้เงินส่วนตัวจ้างช่างไม้ชาวจีนสร้างจนสำเร็จ เปิดใช้เป็นสถานที่เรียนได้ และได้รับเกียรติเป็นประธานของโรงเรียนนี้ด้วย นอกจากนี้ยังได้ช่วยเหลือบาทหลวงที่เข้าไปทำการสอน และอบรมเด็กที่ระนอง ขุนสวัสดิ์ภักดีสนใจ และให้การต้อนรับอย่างดี พร้อมทั้งสนับสนุนเมื่อบาทหลวงเสนอความคิดที่จะก่อตั้งโรงเรียนก็ดี การสร้างวัดพระหฤทัยพระเยซูเจ้าก็ดี ขุนสวัสดิ์ภักดีความร่วมมือ และช่วยเหลืออย่างดี ดังที่ชาวระนองได้เห็น “โรงเรียนศรีอรุโณทัย” ซึ่งตั้งอยู่ถนนท่าเมือง ปรากฎ ตราบจนปัจจุบันนี้
ขุนสวัสดิ์ภักดีได้รับพระราชทานบรรดาศักดิ์เป็น “ขุนสวัสดิ์ภักดี” จากพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว (รัชกาลที่ 7) เมื่อครั้งพระองค์ท่านเสด็จประพาสจังหวัดระนอง ขุนสวัสดิ์ภักดีได้แสดงความจงรักภักดีต่อองค์พระมหากษัตริย์ โดยจัดถ้วยแก้วแทนตะเกียงจุดตั้งเรียงรายไปตลอดทั้งสองฝั่งแม่น้ำตั้งแต่ปากน้ำจนถึงท่าด่าน ซึ่งนับเป็นระยะทางประมาณ 3 กิโลเมตร
ขุนสวัสดิ์ภักดีได้ประสบความสำเร็จจากการเป็นผู้ริเริ่มในหลายกิจการของจังหวัดระนอง เช่น ได้สร้างโรงภาพยนต์ ซึ่งตั้งอยู่ที่ถนนเรืองราษฎร์ขึ้นเป็นแห่งแรกในจังหวัด ให้ชื่อว่า “สวัสดิ์ภาพยนต์” ขุนสวัสดิ์ภักดียังเป็นตัวแทนจำหน่ายบริษัทน้ำมันตราหอย (ซึ่งปัจจุบันคือ บริษัทเชลล์) ขุนสวัสดิ์ภักดีได้ดำเนินกิจการมากว่า 40 ปี สมัยที่ต้องอาศัยแรงคนไปตวงน้ำมันเติมรถยนต์
ขุนสวัสดิ์ภักดีเป็นคนแรกที่ตั้งโรงงานล้างแร่ดีบุก และวุลเฟรมขึ้น โดยรับล้างแร่ของบริษัทไซมิสทินฯ ระนอง และบริษัทไซมิสทินฯ ตะกั่วป่า ขุนสวัสดิ์ภักดียังได้เป็นผู้ส่งไม้ฟืนให้แก่โรงไฟฟ้าบริษัทไซมิสทิน ซึ่งมีเรือขุดแร่อยู่ถึง 7 ลำ สมัยนั้นขุนสวัสดิ์ภักดี และเพื่อน ๆ ต้องใช้ม้า (ขี่โดยไม่มีอาน) เป็นพาหนะจากตลาดระนองไปที่ตำบลบางริ้น หงาว และท่าฉาง เป็นระยะทางถึง 16 กิโลเมตร
ทางด้านการกุศล ขุนสวัสดิ์ภักดีมักจะช่วยบริจาคทั้งทุนทรัพย์ และวัสดุ ทางด้านศาสนา ขุนสวัสดิ์ภักดีช่วยสร้างสะพานให้กับวัดอุปนันทาราม เนื่องจากพระภิกษุต้องเดินท่องน้ำข้ามสายน้ำ นอกจากนี้ยังได้ช่วยวัดวาอารามต่างๆ ที่ไปขอความช่วยเหลือเสมอ ๆ ทางด้านราชการ ในด้านกิจกรรมส่วนรวม และส่วนตัว ขุนสวัสดิ์ภักดีได้ยกที่ดินให้แก่สถานีตำรวจที่ปากน้ำ ได้ซื้อตัวบ้าน และก่อสร้างบ้านพักให้แก่ข้าราชการตำรวจ ช่วยสร้างสถานีตำรวจระนอง เนื่องจากถูกระเบิดระหว่างสงครามโลกครั้งที่ 2 ได้สร้างบ่อน้ำ สะพาน ทำทางเดินให้ความสะดวกแก่ประชาชนในบริเวณบ้านปากน้ำ บ่อน้ำที่ใช้อยู่ในโรงเลื่อยของท่าน นอกจากใช้ในกิจการของโรงงานแล้ว ยังให้ประชาชนตำบลปากน้ำได้ใช้ดื่มทั่วกัน ในขณะที่บ่อน้ำอื่น ๆ แห้งหมดในฤดูแล้ง กับยังได้ให้หีบศพ โดยไม่คิดมูลค่าแก่บุคคลที่ต้องการเป็นประจำ
ชีวิตลำเค็ญของขุนสวัสดิ์ภักดีระยะหนึ่งที่น่าจะนำมาเล่าสู่กันฟังคือ ใน พ.ศ. 2484 หลังจากญี่ปุ่นเข้ายึดสถานีตำรวจระนองแล้ว ชนต่างชาติที่ทำงานอยู่กับบริษัทไซมิสทินฯ กลัวจะถูกจับ ได้พากันหลบหนีออกนอกประเทศไปหมด และได้มอบงานให้ขุนสวัสดิ์ภักดีเป็นผู้ดำเนินงานแทน ขุนสวัสดิ์ภักดีก็รับบริหารกิจการไปด้วยดี จนรัฐบาลยื่นมือเข้ามาขุนสวัสดิ์ภักดีก็มอบงานให้ อยู่ต่อมาบ้านปากน้ำกลายเป็นจุดยุทธศาสตร์ ขุนสวัสดิ์ภักดีจึงนำครอบครัวไปพักกับญาติพี่น้องที่เกาะคนทีชั่วคราว แล้วย้ายต่อไปอยู่ที่ถนนดีบุก จังหวัดภูเก็ต หลังจากนั้นก็ได้ไปพักที่เหมืองเจ้าฟ้าของหลวงอนุภาษภูเก็ตการ ทั้งคุณหลวง คุณนายได้ให้ความเอื้อเฟื้อเป็นอย่างดียิ่ง ครั้นขุนสวัสดิ์ภักดีทราบว่าทางทหารญี่ปุ่นมีความประสงค์จะมาจับตัว ขุนสวัสดิ์ภักดีจึงเข้ามอบตัวกับทางเจ้าหน้าที่ไทย จนกระทั่งทางญี่ปุ่นขอนำตัวไปสอบสวน แต่เจ้าหน้าที่ไทยยังไม่ยอมมอบตัวให้ ในที่สุดมีคำสั่งจากทางกรุงเทพฯ ให้มอบตัวขุนสวัสดิ์ภักดีไปกับญี่ปุ่น เพราะขณะนั้นไทยได้เซ็นสัญญาเป็นพันธมิตร กับญี่ปุ่นแล้ว ขุนสวัสดิ์ภักดีถูกสอบสวนอย่างหนักตามวิธีการของญี่ปุ่นในสมัยนั้น ผู้ที่ถูกจับไปคราวเดียวกันนี้มีจำนวน 57 คน แต่มีเพียง 3 คนเท่านั้นที่มีชีวิตรอดกลับมาได้ ขุนสวัสดิ์ภักดีอยู่ในความควบคุมของทหารญี่ปุ่นเป็นเวลานานถึง 9 เดือน
อาศัยที่ขุนสวัสดิ์ภักดีมั่นใจในความบริสุทธิ์ของตน ที่สุดญี่ปุ่นแพ้สงครามท่านก็ได้รับการปลดปล่อยกลับเป็นอิสระอีกครั้งหนึ่ง ในครั้งนั้นกิจการได้รับความเสียหายเป็นส่วนมาก แต่ขุนสวัสดิ์ภักดีมีมานะอดทนก่อสร้างตนเองขึ้นมาใหม่โดยไม่ย่อท้อ ขุนสวัสดิ์ภักดีเคยเรียกร้องค่าเสียหายในสงคราม แต่ไม่ได้รับเลย
ต่อจากนั้น ขุนสวัสดิ์ภักดีกลับมาอยู่บ้านเดิมที่ปากน้ำอีกหลายปี ได้ไปอยู่เหมืองพรรั้งชั่วระยะหนึ่ง จึงมาอยู่บ้านซึ่งปัจจุบันเป็นที่ตั้งโรงเรียนศรีอรุโณทัยไปแล้ว หลังจากนั้นก็ย้ายไปอยู่หลังปั๊มเชลล์ในตลาดระนองใน พ.ศ. 2512 และอยู่ที่นั่นเป็นต้นมา
ขุนสวัสดิ์ภักดีเริ่มป่วยโรคตับ เมื่อ 15 กันยายน 2514 ได้เข้ารับการรักษาที่โรงพยาบาลรามาธิบดีอยู่ประมาณ 2 เดือน จากนั้นได้ไปพักรักษาตัวอยู่ที่บ้านเซนต์หลุยส์ ตลอดเวลาที่ป่วย ขุนสวัสดิ์ภักดีก็ยังสามารถบริหารงาน คอยรับฟังรายงาน และสั่งงานด้วยตนเองเช่นปรกติ ขุนสวัสดิ์ภักดีมีความอดทน ยอมรับความเจ็บป่วย จนวาระสุดท้าย ขุนสวัสดิ์ภักดีได้สิ้นใจอย่างสงบ ที่บ้าน 3/1 เซนต์หลุยส์ 2 ถนนสาธรใต้ ยานนาวา กรุงเทพฯ ในวันอังคารที่ 23 พฤศจิกายน 2515 เวลา 14.00 น.