傳統的語言模型到現代的語言模型的進化史(現況:Transformer、大型語言模型)
傳統的語言模型到現代的語言模型的進化史(現況:Transformer、大型語言模型)
黃紹唐
國高中學生:對人工智慧領域有熱忱,並想要探究學習的學生
人工智慧初學者:希望進一步理解大型語言模型背後技術的人
Transformer 是現代自然語言處理(NLP)與生成式 AI 模型(如 GPT、BERT 等)的核心架構。本課程將帶領學員從基本概念出發,深入探索 Transformer 模型的設計原理,並實作關鍵組件,如詞嵌入(Embedding)與注意力機制(Attention)。課程也將介紹如何對現有的 Transformer 模型進行微調(Fine-tuning),以應用於特定任務如文本分類、問答系統或生成式任務。
了解 Transformer 模型整體架構概覽
了解詞嵌入的機制與用途
基本 Self-Attention 概念與原理
預訓練與微調在概念與策略上的異同
微調流程:資料前處理、模型調整、訓練技巧