[Generasi Pertama]
Pada tanggal 1 September 1897, Nederlandsch-Indische Spoorweg Maatschappij (NIS) mendapat konsesi izin pembangunan jalur kereta api baru yang menghubungkan Stasiun Gundih dengan calon stasiun baru NIS di Surabaya (kini Stasiun Surabaya Pasarturi). Dengan terbitnya konsesi tersebut, maka NIS mulai membangun jalurnya dengan lebar sepur 1.067 mm. Karena adanya keterbatasan biaya, semua stasiun dan perhentian yang terletak di lintas tersebut sangat sederhana dan terbuat dari kayu, termasuk Stasiun Cepu. Stasiun ini diresmikan 1 Maret 1902. Kemudian pada 1 Februari 1903, jalur kereta api Gundih–Surabaya telah selesai dibangun.
[Generasi Kedua]
Bangunan Stasiun Cepu kemudian diperbesar dengan mengganti kanopi kecil dengan kanopi pelana serupa kanopi di Stasiun Lempuyangan, Stasiun Bojonegoro, dan Stasiun Surabaya Pasarturi serta mengubah bangunan yang sebelumnya semipermanen menjadi permanen.
Berdasarkan foto Stasiun Cepu generasi dua yang terdapat dalam Buku Sejarah Kehutanan Indonesia II–III Periode Tahun 1942–1983, bentuk permanen stasiun ini kemungkinan memiliki kemiripan rupa dengan stasiun-stasiun NIS lainnya, seperti Stasiun Tuntang, Stasiun Telawa, dan Stasiun Bringin. Stasiun-stasiun tersebut memiliki satu pintu lengkung di depan teras dan masing-masing satu pintu lengkung di samping kiri dan kanan teras stasiun serta atap cungkup di atas teras. Namun, bangunan stasiun generasi kedua ini telah hancur dibakar pada masa Jepang dan digantikan dengan bangunan baru.
[Generasi Ketiga]
Pasca dihancurkan, sisa reruntuhan bangunan stasiun generasi kedua dibongkar lalu dibangunlah bangunan stasiun generasi ketiga yang ada hingga saat ini. Namun, belum diketahui secara pasti kapan bangunan generasi ketiga ini dibangun. Sampai saat ini, Stasiun Cepu memiliki tujuh jalur kereta api. Sistem persinyalan mengalami perubahan dari sistem mekanik menjadi sistem persinyalan elektrik buatan Len Industri (SIL-02) . Stasiun ini juga memiliki depo lokomotif yang terhubung langsung dengan jalur 1 di area emplasemen bagian barat.