Kor Sukarelawan yang pertama ditubuhkan di Semenanjung Tanah Melayu adalah di Pulau Pinang iaitu Penang Volunteers dan diikuti oleh negeri Johor, Kedah, Kelantan dan juga negeri-negeri Melayu Bersekutu yang lain. Perang Dunia Pertama telah menjadi faktor yang menggerakan penubuhan Volunteer Corps di negara ini.

Pada tahun 1952, kerajaan telah memperkenalkan konsep kerahan tenaga melalui penguatkuasaan National Service Ordinance. Apabila Home Guard dibubarkan dalam tahun 1958, Kerajaan Persekutuan Tanah Melayu telah memperkenalkan konsep Askar Wataniah. Pada 1 Jun 1958, Askar Wataniah ditubuhkan secara rasmi. Perubahan demi perubahan dilaksankan terhadap Askar Wataniah untuk mengemaskini dan memantapkan Angkatan Tentera mengikut keperluan semasa.

Rejimen 501 Askar Wataniah telah ditubuhkan pada 07 Feb 1980 mengikut kuasa penubuhan KP/TD/RANCANGAN/4668 bertarikh pada 8 Mac 1979 bagi mengambil alih peranan Pasukan Pertahanan Tempatan (PPT) Johor yang telah dibubarkan.

Pada awal penubuhan penempatan rejimen adalah di Kem Majidee, Johor Bahru. Timbalan Komander yang pertama pada waktu itu adalah Leftenan Kolonel Abdul Latif bin Hassan. Kekuatan rejimen pada awal penubuhannya adalah seramai 13 pegawai dan 2,279 anggota. Rejimen ini telah berpindah dari Kem Majidee ke Kem Tebrau pada 12 Jun 1993 dan kini rejimen telah diterajui oleh 4 Komander dan 19 Timbalan Komander.