傳統的語言模型到現代的語言模型的進化史-神經網路模型初探篇

授課教師

唐中凡

目標學習者

• 國高中學生： 對人神經網路處理語言感到好奇的中學生。

• 人工智慧初學者： 希望了解人工智慧領域中神經網路基礎概念的入門學習者。

課程介紹

本課程是語言模型進化史系列課程的中階單元，聚焦於三個核心模型：神經網路（NN）、循環神經網路（RNN）、與長短期記憶網路（LSTM）。課程將透過貼近日常的生活情境（如晚餐預測）來引導學員理解深度學習如何改善傳統N-gram模型的侷限，逐步提升對語境的掌握能力。

學員將從簡單的詞統計開始，理解語言模型在記憶上下文、處理長期依賴關係的挑戰與演化。課程特色在於：

• 用生活例子（室友準備晚餐）理解 RNN 的序列處理方式
  
  

• 利用記憶與遺忘的情境說明 LSTM 中的「輸入閘、遺忘閘、輸出閘」概念
  
  

• 實作環節帶領學員使用 Python + TensorFlow 建立自己的 RNN 模型進行晚餐預測

適合對人工智慧與語言模型有初步了解的中學生，尤其是對語言背後的運算原理感興趣的同學。

本系列共設計了三個單元：

• Unit 01｜傳統語言模型進化成深度學習 

• Unit 02 | RNN：讓模型學會記得上下文

• Unit 03 | 刻骨銘心 v.s. 過眼雲煙？ LSTM 幫你記住重要的事

課程目標

• 了解傳統語言模型（如 N-gram）的限制，並認識引入神經網路模型之必要性。 

• 認識神經網路（NN）與循環神經網路（RNN）在語言處理中的基本運作方式。

• 透過「晚餐預測」的例子，掌握 RNN 如何根據序列資訊進行預測。

• 實作簡易的 RNN 模型，並以 Python 執行序列預測任務，加深模型理解。

• 學習 LSTM 中三個核心閘門（遺忘閘、輸入閘、輸出閘）的功能與差異。

Unit 2 實戰演練可由下面任一種方式取得後於colab開啟使用

• 師大google drive colab程式碼(請自行做成副本演練)：https://colab.research.google.com/drive/1hvGyKsvQdENBfo0xZY7MZw1y_AkpiDXF?usp=sharing

• Github : https://github.com/franktang0512/edudinnerrnn/blob/main/dinner_RNN.ipynb

課程教材參考

• https://brohrer.mcknote.com/zh-Hant/how_machine_learning_works/how_rnns_lstm_work.html

https://www.youtube.com/watch?v=WCUNPb-5EYI&t=1270s

• https://towardsdatascience.com/five-practical-applications-of-the-lstm-model-for-time-series-with-code-a7aac0aa85c0/

• https://vocus.cc/article/6693787dfd89780001ac301a

• https://d2l.ai/chapter_recurrent-modern/lstm.html

• https://www.youtube.com/watch?v=bfmFfD2RIcg