Ditubuh dalam tahun 1900 bertempat di Jalan Hassan, Segamat di bawah pimpinan Tuan Haji Ahmad bin Hassan. Dikenali sebagai Sekolah Melayu Segamat. Bangunan sekolah kecil berbentuk rumah kediaman yang diperbuat daripada papan. Pada tahun 1914, sekolah ini telah berpindah ke bangunan yang baru dibina oleh kerajaan di Jalan Aji, Segamat. Bangunan baru ini mempunyai 4 bilik darjah yang besar disekat dengan tirai papan dan sebuah bilik kecil sebagai bilik Guru Besar. Menjelang tahun 1930, dibawah pimpinan Encik Arshad bin Esa, sekolah ini telah berpindah ke bangunan baru di Jalan Pawang, Segamat. Bangunan rumah panjang yang dibina tidak mempunyai dinding untuk memisahkan bilik-bilik tertentu. Bilik darjah hanya dipisahkan dengan skrin papan. Pada tahun 1942 dibawah pimpinan Tuan Haji Jiman bin Abdul Ghani, jumlah murid adalah seramai 179 orang. Menjelang tahun 1944 jumlah murid ialah 64 orang kerana peperangan. Tetapi pada tahun 1945, jumlah murid bertambah kepada 170 orang. Oleh kerana semua murid sekolah ini lelaki, maka sekolah ini lebih dikenali Sekolah Melayu Lelaki Bandar Segamat.

Pada tahun 1968, dengan persetujuan YM Al-Marhumah Wan Zaliha bt. Almarhum Temenggong Abdul Rahman, nama sekolah ini diganti dengan nama Sekolah Temenggong Abdul Rahman, Segamat. Pada tahun 1980, kerajaan telah meluluskan peruntukan sebanyak RM 396,295.00 untuk membina sebuah bangunan tiga tingkat yang lengkap dengan pejabat, Bilik Guru Besar, Pusat Sumber dan bilik-bilik darjah sebagaimana yang dapat dilihat sekarang (Blok A). Pada 3 Mac 1983 bangunan ini dirasmikan oleh YB. Datok Ajib b. Ahmad yang ketika itu Menteri Besar Johor.

Pada tahun 1983, sekolah ini mengalami perubahan besar menerima murid perempuan apabila semua murid dari Sekolah Perempuan Bandar yang terletak di Jalan Hassan dibubarkan. Puan Hajjah Habsah bt. Md. Salleh dari Sekolah Perempuan Bandar yang telah dibubarkan menjadi Guru Besar.

Pada tahun 1989, bangunan Pendidikan Khas masalah pendengaran telah dibina. Bangunan ini dirasmikan oleh YB. Dato Abdul Razak bin Atur Pengarah Pendidikan Negeri Johor pada ketika itu.

Pada tahun 1991, bangunan Pusat Kegiatan guru Bandar Segamat telah dibina dan berfungsi sepenuhnya untuk guru-guru menjalankan aktiviti yang selaras dengan cita-cita kerajaan serta misi pendidikan.

Pencapaian akademik dan pengurusan yang cemerlang pada tahun 1992, sekolah ini telah diistiharkan sebagai Sekolah Harapan Negara Peringkat Negeri Johor. Oleh kerana pertambahan murid, pembinaan bangunan tiga tingkat menggantikan bangunan kayu yang terletak berhadapan dengan blok A dan bersebelahan Bangunan Pendidikan Khas dibuat pada tahun 1993 dan siap pada tahun 1995. Bangunan baru ini dilengkapi 8 bilik darjah, bilik gimnasium, bilik kemahiran hidup, makmal komputer dan sebuah kantin yang besar.

Bilangan murid yang ramai menyebabkan kekurangan bilik darjah. Maka, murid-murid tahun 1,4,5 dan 6 belajar di sesi pagi manakala tahun 2 dan 3 belajar di sesi petang.

Pada pertengahan tahun 2009, bangunan baru dua tingkat berbentuk L akan dapat digunakan .Sekolah akan bermula satu sesi.Bangunan yang berharga RM 5.4 juta dilengkapi dengan 6 bilik darjah, pejabat dan bilik-bilik khas.Di antara bilik-bilik khas ialah bilik mesyuarat,surau dan j-QAF,bilik muzik,makmal Sains,bilik Seni Visual,bilik rawatan dan bilik pengurusan PJK.

Sekolah ini berpegang pada motto “Tiada gunung yang tidak boleh didaki, tiada masalah yang tidak boleh diatasi”. Sehingga kini sekolah ini telah menempa banyak kejayaan dalam bidang Kurikulum dan Kokurikulum di peringkat daerah dan negeri.