TA melakukan eksplorasi atas metoda sebuah paper deep learning . Diutamakan paper yang metodanya sudah tersedia source codenya. Dg sdh adanya source code mhs tdk perlu membuat code lagi dari awal.

Oleh karena itu, garis besar permasalahan serta dasar-dasar solusinya sudah disediakan. Sehingga mhs kosentrasi dalam memahami source code yang ada, serta melakukan analisis atas sebuah metoda deep learning yang diteliti. Analisis terutama atas performansi, kelebihan, dan kekurangannya. Tentunya dalam melakukan analisis dibimbing oleh dosen pembimbing.

Salah satu kemungkinan hasilnya adalah penjelasan atas sebuah metoda deep learning berdasarkan source codenya. Contohnya, The Annotated Transformer untuk arsitektur deep learning Transformer.

Bagi yang berminat harap menghubungi Dr. Moch Arif Bijaksana, via Telegram @arifbijaksana

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Beberapa alternatif topik (bisa juga di luar daftar ini):

• Sigmorphon shared tasks. Ada bbrp permasaahan dan solusi bisa yang dipakai. Mhs mengeksplorasi beberapa pendekatan deep learning yang performasinya bagus.

  • Contoh solusi: pemenang Sigmorphon 2016 [paper] [code dasar]. Penjelasan Sigmorphon2016 [paper]

• Model-model deep learning yang populer, misalnya Transformer [paper][contoh code][annotated]

• Menganalisa beberapa jenis mekanisne attention pada pemrosesan teks dengan RNN seq2seq.

• Pre-training language representation, seperti misalnya ULMFiT [paper][code dan model], OpenAI-GPT [paper][code dan model], BERT [paper] [code & model], Electra [paper][code & model], Cross Lingual Pretraining XLM [paper, code]

• <Daftar ini sdg dalam pengembangan. Dan insha Allah akan dijelaskan dengan semakin detil>

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Catatan:

• Mhs akan dibimbing secara intensif dalam memahami dasar2 deep learning dan penerapannya untuk NLP.

• Tidak menerima mahasiswa yang sambil bekerja, karena wrap penelitian adalah seperti magang/internship. Dimana mahasiswa harus full time mengerjakan magangnya, kecuali mengambi bbrp MK sesuai kurikulum 2020. Bedanya dg magang, pada wrap penelitian yang dilakukan adalah meneliti (yang penelitian tsb adalah topik TAnya).

• Mhs harus berkomitmen untuk menjalani TA dan wrap penelitian dengan sungguh-sungguh.

• Penjelasan dasar bbrp konsep deep learning di bbrp video ini KLIK

• Mulai tahun akademik 2020/21, TelU insha Allah akan menerapkan Kurikulum 2020, kemungkinan ada beberapa jalur/wrap. Di Fakultas Informatika insha Allah salah satunya adalah wrap riset yang pelaksanaanya selama dua semester. Informasi pasti dan lebih detilnya kita tunggu pengumuman resmi dari prodi S1IF.