現代大型語言模型的變化與未來型態
現代大型語言模型的變化與未來型態
Embedded Files
授課教師
授課教師
王重鈞
目標學習者
目標學習者
對大型語言模型架構熟悉者，了解大型語言模型是將文字轉為詞嵌入 (text embedding)，並理解 text embedding 的含義。
使用過 ChatGPT，想要了解最新的語言模型常見的使用技術者。
課程介紹
課程介紹
本課程以 ChatGPT 為起點，深入剖析 LLM 的工作原理與其進階能力，涵蓋從基本思維方式到多模態處理、工具整合與任務自動化的完整架構。以強調不需要訓練模型為起點，介紹打造各種智慧的 LLM 的方法與技術，讓學生不在是使用 LLM 而是使用 LLM。透過五大核心主題：思維鏈（CoT）、檢索增強生成（RAG）、多模態模型（MLLM）、函式呼叫（Function Calling）以及 AI 代理人（AI Agent），學生將學會如何讓 LLM 更「聰明」、更「實用」、更「主動」。
本系列共設計了7堂課：
本系列共設計了7堂課：
導論：課程簡介
讓 LLM 會思考： 思維鏈 CoT
讓 LLM 查資料： 檢索增強生成 RAG
讓 LLM 有感官： 多模態大語言模型 MLLM
讓 LLM 用工具： 函式呼叫 function calling
讓 LLM 完成任務： AI 代理人 AI Agent
結語：LLM 的未來型態
課程目標
課程目標
理解思維鏈如何引導模型推理，降低答非所問的錯誤率。
了解檢索增強生成（RAG）技術，是如何提升模型對新知的回答能力。
理解如何讓 LLM 理解圖片、語音與影片等非文字資訊。
了解函式呼叫（Function Calling）與模型上下文協議（MCP），是怎麼實現模型與工具的連接。
瞭解 AI Agent 架構與記憶機制。
導論：課程簡介
導論：課程簡介
單元目標：
針對該節課程做簡要的介紹
探討不依賴大量訓練資料的智慧化方法
介紹上課前要準備的東西
🧠 讓 LLM 會思考 思維鏈 CoT
單元目標：
解釋 LLM 為何常出現答非所問的情況
學習思維鏈如何透過「逐步思考」的提示改善模型邏輯推理能力
理解思維鏈如何拆解任務為多個子任務，提高答題準確性
📖 讓 LLM 查資料 檢索增強生成 RAG
單元目標：
掌握將外部知識結合進 LLM 回答流程的原理
學會檢索生成增強的運作邏輯
理解檢索生成增強在智慧客服、內部知識搜尋等場景的實用性
👁️ 讓 LLM 有感官 多模態大型語言模型 MLLM
單元目標：
認識圖像、語音、影片等「非文字資料」如何被模型理解
學習編碼器與解碼器如何處理多模態資料
強調多模態模型在邁向通用 AI 上的重要性
🛠️ 讓 LLM 用工具 函式呼叫 function calling
單元目標：
認識如何讓 LLM 使用外部工具以取得即時準確資料
認識函式呼叫的運作流程與邏輯
理解模型上下文協議以統一 LLM 與工具的連接介面
🤖 讓 LLM 完成任務 AI 代理人 AI Agent
單元目標：
理解 AI 代理人架構如何讓 LLM 主動完成任務
掌握「觀察–行動–回饋」的代理人設計模式
認識記憶與個人化在 LLM 智能助理中的運作方式
結語：LLM 的未來型態
結語：LLM 的未來型態
單元目標：
整合各項技術，勾勒 LLM 發展未來方向
提出模型蒸餾、記憶更新、多感官擴展、可解釋性等關鍵議題
鼓勵學生思考如何將 LLM 深度融入專業場域與日常生活
參考資料
李宏毅 (Hung-yi Lee) 老師 YouTube 頻道 https://www.youtube.com/@HungyiLeeNTU
【生成式AI時代下的機器學習(2025)】第一講：一堂課搞懂生成式人工智慧的技術突破與未來發展
https://youtu.be/QLiKmca4kzI?si=iDw4CFBddPBWweVP
【生成式AI時代下的機器學習(2025)】第二講：一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)
https://youtu.be/M2Yg1kwPpts?si=f1knkhFVPsCD2Hvk【生成式AI時代下的機器學習(2025)】第七講：DeepSeek-R1 這類大型語言模型是如何進行「深度思考」（Reasoning）的？
https://youtu.be/bJFtcwLSNxI?si=Jl3HL5JEO2_ZMeak【生成式AI】能夠使用工具的AI：New Bing, WebGPT, Toolformer
https://youtu.be/ZID220t_MpI?si=obYCzcp154Ismt39
什麼是思維鏈提示？
提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT)
Paper: Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
ChatGPT
https://chatgpt.com/
Page updated
Report abuse