Sekolah Menengah Agama Al-Khairiah Al-Islamiah Mersing mula diusahakan penubuhannya pada akhir tahun 1948. Hasil daya usaha yang gigih daripada jawatankuasa penubuhan yang diketuai Encik Mahmud Bin Husin Pegawai Daerah Mersing, Al-Fadhil Tuan Haji Muhammad Bin Diauddin, Kadi Daerah Mersing, maka pada hari Khamis 23 Rabiul Akhir 1370 Hijriah bersamaan 1 Februari 1951 “Majlis Istiadat Pembukaan” sekolah ini telah dirasmikan oleh Yang Mulia Dato’ Syed Salim Bin Hassan Al-Attas, Kadi Besar Johor dan dihadiri bersama Al-Fadhil Ustaz Ismail Omar Abd Aziz, Pemeriksa Sekolah-sekolah Arab Johor dengan menggunakan nama “Sekolah Al-Quran”. Sekolah ini merupakan sekolah agama rakyat yang menggunakan bahasa arab sepenuhnya sebagai bahasa penghantar.
Peringkat awal bangunan sekolah ini merupakan sebuah rumah kedai papan yang disewa di Jalan Tengah Mersing sekarang dinamakan dengan Jalan Awang Daik. Kegigihan dan iltizam masyarakat setempat untuk melihat tertegaknya Madrasah ini terbukti dengan terbinanya sebuah bangunan sendiri pada tahun 1953 di atas tanah yang diwakafkan oleh Allahyarham Tuan Syeikh Awath Bin Muhammad dan sumbangan daripada orang ramai dari segi kewangan dan pelbagai bentuk yang lain.
Pada tahun 1958, bangunan surau papan tersebut telah diubahsuai sebagai sebuah bangunan sekolah. Selaras dengan itu, nama sekolah juga telah ditukar kepada “Madrasah Al-Khairiah Al-Islamiah Mersing.
Dengan jasa baik dan bantuan kerajaan pada tahun 1968, sebuah bangunan baru yang mengandungi empat bilik darjah telah disiapkan. Bangunan lama telah dijadikan bilik perpustakaan. Pada tahun 1969, madrasah ini didaftarkan secara rasmi di bawah Peraturan Pendaftaran Sekolah-sekolah Arab Negeri Johor. Pada tahun 1975, atas desakan keperluan tempat tinggal, bangunan yang dijadikan bilik perpustakaan sekali lagi diubah menjadi asrama puteri (ASPURI) sementara.
Pada tahun 1976, perkembangan pelajaran dilakukan di mana mata pelajaran akademik telah diserapkan. Berikutan dengan itu, pada tahun 1978, pelajar-pelajar madrasah ini telah menduduki dua jenis peperiksaan iaitu:
* Peperiksaan Sijil Rendah Pelajaran (SRP) di tahun 3 persekolahan.
* Peperiksaan Syahadah I’dadiah di tahun 4 persekolahan (akhir tahun).
Sejajar dengan pertambahan bilangan pelajar, pertambahan bilik darjah juga diperlukan untuk memberi keselesaan bilik darjah kepada pelajar. Oleh itu, pada tahun 1989 dengan bantuan pelbagai pihak sebuah lagi bangunan mengandungi empat bilik darjah telah didirikan.
Pada tahun 1994, Bahagian Pendidikan, Jabatan Agama Johor telah memendekkan tempoh pengajian di peringkat I’dadi dari empat tahun kepada tiga tahun. Pelajar-pelajar akan menghadapi dua peperiksaan serentak SRP dan Syahadah I’dadiah (Sijil Menengah Rendah Agama, SMRA). Pada tahun 1994, Madrasah Al-Khairiah Al-Islamiah ini juga dikenali dengan nama Sekolah Menengah Agama Al-Khairiah Al-Islamiah Mersing (SMAAM).
Pada tahun 1998, SMAAM melangkah setapak lagi dengan menubuhkan Sekolah Rendah Agama Arab (SRAA) dengan bilangan pelajar seramai 44 orang yang ditempatkan di dalam dua kelas iaitu darjah 1 dan darjah 2. Mata pelajaran yang diajar terdiri daripada mata pelajaran akademik (mengikut sukatan Kementerian Pendidikan) dan mata pelajaran arab sepenuhnya mengikut KAFA dengan pengukuhan dalam Bahasa Arab.
Pada tahun 2000, SMAAM terus melakukan perubahan dengan mewujudkan tingkatan 5 (2 Thanawi). Pelajar-pelajar akan memperolehi empat sijil dalam tempoh yang singkat iaitu :
* Tingkatan 3
SRP[ (Sijil Rendah Pelajaran)
SMRA (Sijil Menengah Rendah Agama)
* Tingkatan 5
SPM (Sijil Pelajaran Malaysia)
SMA (Sijil Menengah Agama)
Pada tahun 2001, Bahagian Pendidikan Agama Johor telah melakukan usaha mempertingkatkan kualiti pengajaran dan pembelajaran dengan meminda secara berperingkat sistem peperiksaan SMRA dan SMA. Natijahnya mulai 2003, para pelajar sekolah-sekolah Agama Negeri Johor akan menduduki peperiksaan seperti berikut:
Tingkatan 1 : Peperiksaan Intensif Bahasa
Tingkatan 2 : SMRA
Tingkatan 3 : PMR
Tingkatan 4 : SMA
Tingkatan 5 : SPM
Para pelajar di tingkatan 5 mempelajari sebahagian dari mata pelajaran STAM (Sijil Tinggi Agama Malaysia) sebagai persiapan ke Maahad di samping memberikan tumpuan kepada SPM. Mulai tahun 2002 SMAAM telah dipilih bagi melaksanakan Kelas Tahfiz Al-Quran yang dibiayai oleh JAJ untuk pelajar tingkatan satu sebagai perintis.
Kegigihan Ahli Jawatankuasa Jemaah Pengurusan Sekolah untuk membangunkan sekolah melalui pelbagai usaha yang dijalankan telah berjaya menarik perhatian pelbagai pihak termasuk Perdana Menteri, Dato’ Seri Abdullah Bin Haji Ahmad Badawi yang pada waktu itu sebagai TPM telah sudi menyumbangkan bantuan sebanyak RM 500,00000. Hasil perbincangan yang dijalankan Jabatan Agama Johor telah bersetuju untuk membantu membangunkan institusi ini. Natijahnya pada tahun 2002, Jabatan Agama Johor, memperuntukkan hampir RM 1.4 juta untuk projek pembinaan bangunan baru Sek. Men. Agama Al-Khairiah Al-Islamiah Mersing ini. Sepanjang tempoh pembinaan yang bermula pada 1 Januari 2002, SMAAM dan SRAAM menumpang di Sekolah Agama Mersing Kanan.
Pada Februari 2003, SRAAM ditamatkan operasinya dan dibenarkan meneruskan pendidikan mata pelajaran agama dan bahasa arab sahaja. Sehubungan dengan itu SRAA ditukarkan kepada Sekolah Agama Al-Khairiah Mersing (SAAM) yang memulakan kelas pengajian pada sesi petang. Mulai Mac 2003 sehingga 30 September 2003 SAAM menumpang di Taski Al-Huda Mersing.
17 September 2003, SMAAM berpindah semula ke bangunan baru yang telah siap dibina sepenuhnya. Seluruh operasi pentadbiran, pengajaran dan pembelajaran serta ko-kurikulum dapat dijalankan dengan baik. Bangunan baru SMAAM mengandungi:
* 8 bilik kuliah * Pejabat * Bilik guru * Surau * Makmal KHB * Bilik sumber * 2 bilik makmal sains
* Perpustakaan * Bilik tayang * Bilik komputer * Bilik mesyuarat * Bilik SPBT * Bilik kaunseling * Bilik pengawas
* Kantin * Stor
Pembinaan bangunan baru ini juga melibatkan kerja pengubahsuaian bangunan yang dibina pada tahun 1989 untuk dijadikan asrama puteri yang mampu menempatkan 60 orang pelajar.
Pertambahan permintaan untuk menginap di asrama mendesak pihak JPS SMAAM untuk membina asrama putera. Alhamdulillah pada tahun 2004 sebuah rumah kedai di alamat 40-C, Jalan Awang Daik telah diwakafkan kepada sekolah untuk dijadikan asrama. Pada Disember 2004 dengan inisiatif pihak JPS sekolah sebuah rumah kedai 40-D, Jalan Awang Daik telah dibeli untuk dijadikan asrama. Walau bagaimanapun kedua-dua asrama ini tidak dapat menampung permintaan yang semakin bertambah. Pada tahun 2015, projek pembinaan asrama puteri telah mula beroperasi di tanah belakang sekolah dan siap untuk diduduki pada tahun 2016.
Hari demi hari, ada sahaja perancangan dan penambahbaikan untuk keselesaan pelajar dan guru dilaksanakan. Sokongan penuh daripada ibubapa dan guru-guru serta orang awam sangat membantu agar SMAAM terus hebat demi mencapai matlamat duniawi dan ukhrawi.