GMNI berdiri pada 23 Maret 1954 di Surabaya (gagasannya lahir di Jakarta). GMNI merupakan organisasi hasil dari penggabungan atau peleburan (fusi) dari tiga organisasi mahasiswa yang telah berdiri sebelumnya yakni; Gerakan Mahasiswa Marhaen (berbasis di Yogyakarta), Gerakan Mahasiswa Merdeka (berbasis di Surabaya), dan Gerakan Mahasiswa Demokrat Indonesia (berbasis di Jakarta).