唐中凡
國高中學生: 對人神經網路處理語言感到好奇的中學生。
人工智慧初學者: 希望了解人工智慧領域中神經網路基礎概念的入門學習者。
學員將從簡單的詞統計開始,理解語言模型在記憶上下文、處理長期依賴關係的挑戰與演化。課程特色在於:
用生活例子(室友準備晚餐)理解 RNN 的序列處理方式
利用記憶與遺忘的情境說明 LSTM 中的「輸入閘、遺忘閘、輸出閘」概念
實作環節帶領學員使用 Python + TensorFlow 建立自己的 RNN 模型進行晚餐預測
適合對人工智慧與語言模型有初步了解的中學生,尤其是對語言背後的運算原理感興趣的同學。
Unit 01|傳統語言模型進化成深度學習
Unit 02 | RNN:讓模型學會記得上下文
Unit 03 | 刻骨銘心 v.s. 過眼雲煙? LSTM 幫你記住重要的事
了解傳統語言模型(如 N-gram)的限制,並認識引入神經網路模型之必要性。
認識神經網路(NN)與循環神經網路(RNN)在語言處理中的基本運作方式。
透過「晚餐預測」的例子,掌握 RNN 如何根據序列資訊進行預測。
實作簡易的 RNN 模型,並以 Python 執行序列預測任務,加深模型理解。
學習 LSTM 中三個核心閘門(遺忘閘、輸入閘、輸出閘)的功能與差異。
單元目標:
回顧 傳統語言模型(N-gram)的運作方式與侷限。
了解 傳統語言模型至神經網路語言模型的動機。
描述 神經網路的基本架構以及訓練過程
單元目標:
說明 RNN 在語言處理中如何記住上下文,並區別於傳統 N-gram 的記憶限制。
建構 序列預測背後的時間關係及RNN模型的遞迴結構。
實作 晚餐範例所達成的RNN模型來預測晚餐
Unit 2 實戰演練可由下面任一種方式取得後於colab開啟使用
師大google drive colab程式碼(請自行做成副本演練):https://colab.research.google.com/drive/1hvGyKsvQdENBfo0xZY7MZw1y_AkpiDXF?usp=sharing
Github : https://github.com/franktang0512/edudinnerrnn/blob/main/dinner_RNN.ipynb
單元目標:
說明 LSTM 在語言處理中如何與大腦既有的機制相關聯
解釋 LSTM 加入 輸入閘、輸出閘、遺忘閘 來改善RNN的遺忘性質
https://brohrer.mcknote.com/zh-Hant/how_machine_learning_works/how_rnns_lstm_work.html
https://www.youtube.com/watch?v=WCUNPb-5EYI&t=1270s