王重鈞
對大型語言模型架構熟悉者,了解大型語言模型是將文字轉為詞嵌入 (text embedding),並理解 text embedding 的含義。
使用過 ChatGPT,想要了解最新的語言模型常見的使用技術者。
本課程以 ChatGPT 為起點,深入剖析 LLM 的工作原理與其進階能力,涵蓋從基本思維方式到多模態處理、工具整合與任務自動化的完整架構。以強調不需要訓練模型為起點,介紹打造各種智慧的 LLM 的方法與技術,讓學生不在是使用 LLM 而是使用 LLM。透過五大核心主題:思維鏈(CoT)、檢索增強生成(RAG)、多模態模型(MLLM)、函式呼叫(Function Calling)以及 AI 代理人(AI Agent),學生將學會如何讓 LLM 更「聰明」、更「實用」、更「主動」。
導論:課程簡介
讓 LLM 會思考: 思維鏈 CoT
讓 LLM 查資料: 檢索增強生成 RAG
讓 LLM 有感官: 多模態大語言模型 MLLM
讓 LLM 用工具: 函式呼叫 function calling
讓 LLM 完成任務: AI 代理人 AI Agent
結語:LLM 的未來型態
理解思維鏈如何引導模型推理,降低答非所問的錯誤率。
了解檢索增強生成(RAG)技術,是如何提升模型對新知的回答能力。
理解如何讓 LLM 理解圖片、語音與影片等非文字資訊。
了解函式呼叫(Function Calling)與模型上下文協議(MCP),是怎麼實現模型與工具的連接。
瞭解 AI Agent 架構與記憶機制。
單元目標:
針對該節課程做簡要的介紹
探討不依賴大量訓練資料的智慧化方法
介紹上課前要準備的東西
🧠 讓 LLM 會思考 思維鏈 CoT
單元目標:
解釋 LLM 為何常出現答非所問的情況
學習思維鏈如何透過「逐步思考」的提示改善模型邏輯推理能力
理解思維鏈如何拆解任務為多個子任務,提高答題準確性
📖 讓 LLM 查資料 檢索增強生成 RAG
單元目標:
掌握將外部知識結合進 LLM 回答流程的原理
學會檢索生成增強的運作邏輯
理解檢索生成增強在智慧客服、內部知識搜尋等場景的實用性
👁️ 讓 LLM 有感官 多模態大型語言模型 MLLM
單元目標:
認識圖像、語音、影片等「非文字資料」如何被模型理解
學習編碼器與解碼器如何處理多模態資料
強調多模態模型在邁向通用 AI 上的重要性
🛠️ 讓 LLM 用工具 函式呼叫 function calling
單元目標:
認識如何讓 LLM 使用外部工具以取得即時準確資料
認識函式呼叫的運作流程與邏輯
理解模型上下文協議以統一 LLM 與工具的連接介面
🤖 讓 LLM 完成任務 AI 代理人 AI Agent
單元目標:
理解 AI 代理人架構如何讓 LLM 主動完成任務
掌握「觀察–行動–回饋」的代理人設計模式
認識記憶與個人化在 LLM 智能助理中的運作方式
單元目標:
整合各項技術,勾勒 LLM 發展未來方向
提出模型蒸餾、記憶更新、多感官擴展、可解釋性等關鍵議題
鼓勵學生思考如何將 LLM 深度融入專業場域與日常生活
參考資料
李宏毅 (Hung-yi Lee) 老師 YouTube 頻道 https://www.youtube.com/@HungyiLeeNTU
【生成式AI時代下的機器學習(2025)】第一講:一堂課搞懂生成式人工智慧的技術突破與未來發展
https://youtu.be/QLiKmca4kzI?si=iDw4CFBddPBWweVP
【生成式AI時代下的機器學習(2025)】第二講:一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)
https://youtu.be/M2Yg1kwPpts?si=f1knkhFVPsCD2Hvk
【生成式AI時代下的機器學習(2025)】第七講:DeepSeek-R1 這類大型語言模型是如何進行「深度思考」(Reasoning)的?
https://youtu.be/bJFtcwLSNxI?si=Jl3HL5JEO2_ZMeak
【生成式AI】能夠使用工具的AI:New Bing, WebGPT, Toolformer
https://youtu.be/ZID220t_MpI?si=obYCzcp154Ismt39
什麼是思維鏈提示?
提示工程(Prompt Engineering):Prompt 進階技法 chain-of-thought (CoT)
Paper: Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
ChatGPT
https://chatgpt.com/