07/06 IPAS 重點培訓班

課程直播連結：https://ithu.tw/mathiPAS
線上上完整上完8小時也會另發結業證書

課程影音連結：https://www.youtube.com/playlist?list=PLHG704n-Z5jYXKezdimekAmzvtSfDdH2c
沒跟上直播這裡是直播完後的影便存放區供大家事後觀看

第一堂課 L11101 AI的定義與分類

📌 課堂與考照行政資訊

課程規劃：總計 8 天（7月6日至7月9日、7月13日至7月16日）。每天上課 1 小時，進行 2 個單元（每半小時講解 50 個關鍵字）。
上課心態：學員不需費心做筆記，課後會提供語音轉文字的重點精華，上課時專心放鬆聽講即可。
點名與證書：
- 每天需點名 2 次：前點名（上課前 20 分鐘內）與後點名（下課前/後 20 分鐘內）。
- 第一天（7/6）因系統與流程測試，全面開放點名；第二天起將嚴格執行時間限製。
- 累積完成 16 次點名（全勤）即可獲得課程參加證明。
學習資源與備考：
- 歷屆考題、8 本課程講義（分有解答/無解答版）皆已上傳至專屬網站。
- 建議可參考由工研院與經濟部產業人才發展署出版的書籍，最符合考試需求。

🧠 AI 基礎核心概念

人工智慧 (AI) 分類：
- 弱人工智慧：機器因為一件事而完成另一件事，僅能處理特定單一任務。
- 強人工智慧 (AGI)：機器具備與人類相當的全麵智慧，能主動幫忙完成工作。
- 超人工智慧：超越強人工智慧的範疇。
機器學習 (Machine Learning)：由「數據」加上「數學（模型）」組成。給予電腦大量資料（如一萬張蘋果照片），讓模型自行找出規律與特徵來進行判斷。
深度學習 (Deep Learning)：機器學習的進階分支。架構包含輸入層（資料）、隱藏層（計算過程）與輸出層（答案）。當「隱藏層」有多個層次（如高達數十億參數的大模型）時，即稱為深度學習。
圖靈測試 (Turing Test)：1950 年由艾倫·圖靈提出。測試方式為裁判在看不見對方的狀況下進行文字對話，若無法分辨對方是機器還是人類，即算通過測試。
AI 歷史起點：1955 年達特茅斯會議，由「人工智慧之父」約翰·麥卡錫 (John McCarthy) 提出，早期主要用於文件與報紙分類。
大數據 (Big Data)：最初具備 3 個 V 的特性（資料量 Volume、速度 Velocity、多樣性 Variety），其中最需記住的是「多樣性」，後續演進為 5 個 V。
資料結構化：
- 結構化資料：可以完全填入 Excel 試算表格式的資料。
- 非結構化資料：無法放入表格的資料，如影像、聲音、條碼、身分證等。

⚙️ 演算法與進階名詞

資料預測任務：
- 分類 (Classification)：處理「類別資料」（如性別、水果種類、0123等）。
- 迴歸 (Regression)：處理「連續數值資料」的預測（如身高、體重）。基礎為線性方程式 $Y = aX + b$，若有多個變數則為複迴歸。
- 邏輯式迴歸 (Logistic Regression)：名稱雖有迴歸，但主要用於「分類」。
AI 三大學派：
- 符號主義：用最簡潔的數學與邏輯符號來描述世界事物。
- 連結主義：強調神經網絡中大量簡單單元的互動與連結（現今主流）。
- 行為主義：認為智慧展現於機器與環境的互動控制中。
專家系統 (Expert System)：1980 年代興起，屬於「規則導向 (Rule-based)」。因為實務上規則越設越多會導致系統死結（無解）而逐漸式微。
最佳化與梯度下降法 (Gradient Descent)：在有限條件下尋找最好（最佳）的數值。概念如同爬山尋找谷底，在數學上利用微積分計算最快下降的坡度與方向。
運算架構：
- 雲端運算：將資料放在網路上運算，須特別注意資安加密問題。
- 邊緣運算 (Edge Computing)：直接在現場端（如工廠機台、特斯拉自駕車）進行運算與分析，反應更即時。
智慧型代理人 (AI Agent)：透過感測器與軟體指令，自動對環境採取行動的系統（如掃地機器人、自動回信機器人）。
莫拉維克悖論 (Moravec's Paradox)：人類覺得困難的高智商推理（如微積分、下棋），電腦只需極少算力就能做好；但人類覺得簡單的感知運動（如走路、摺衣服、人臉辨識），電腦卻需要耗費巨大的算力。

第二堂課 L11102 AI治理概念

📌 課堂與學習指引

學習方法：每天 1 小時，專心聽講、放鬆吸收，不要過度思考或做筆記。課後會提供語音轉文字的重點精華供複習。
簽到提醒：記得完成前點名與後點名（累積 16 次可獲參加證明）。點名僅需填寫姓名、信箱與單位，做為發放證書的依據。

⚖️ AI 治理與法律規範核心概念

AI 治理 (AI Governance)：確保 AI 系統在開發與應用過程中，符合倫理、道德與法律規範的框架與流程。
歐盟 AI 法案 (EU AI Act)：目前全球最嚴格、常被視為黃金標準的 AI 法案。採用風險分級制度：
1. 不可接受的風險（完全禁止）。
2. 高風險（嚴格審查）。
3. 有限風險。
4. 最小風險。備註：考試時遇到分級問題，建議專注記憶「不可接受」與「最小風險」兩個極端。
金融業應用 AI 指引：核心重點在於「資料安全」。因金融業涉及龐大客戶資料，通常需在網路上進行模型訓練，因此與「同態加密 (Homomorphic Encryption)」技術緊密相關。
監理沙盒 (Regulatory Sandbox, 極易考)：在真實環境中劃出一個安全、可控的實驗場域，讓新創技術（如 FinTech、醫療 AI）進行測試，觀察是否會對人類造成損害或風險。

🛡️ AI 倫理、風險與資訊安全

偏見與公平性：
- 偏見 (Bias)：AI 模型的輸出必定會受訓練資料影響而產生偏見（例如：臺灣與中國對「行列」的定義相反，使用不同資料庫訓練的 AI 會給出不同答案）。
- 演算法偏見：源自數據與目標設定的瑕疵。若題目敘述看起來「不正常」，通常就是在考「歧視 (Discrimination)」。
可解釋性 (Explainability) 與透明度：
- 目前多數深度學習 AI 仍是「黑盒子」，難以完全解釋其推論過程（Why & How）。
- 透明度原則：使用者應清楚知道自己正在與 AI（而非真人）互動。
問責制 (Accountability)：當 AI 發生錯誤或造成損害時，責任該歸屬開發者還是使用者，是目前法規持續探討的重點。
資安CIA三要素 (極易考)：傳統資訊安全的基石為機密性 (Confidentiality)、完整性 (Integrity)、可用性 (Availability)。
對抗性攻擊 (Adversarial Attack)：在圖片或資料中加入人類肉眼無法察覺的微小雜訊，誘導 AI 產生錯誤判斷（例如影像識別中最難判斷的密集網格或條紋）。
深偽技術 (Deepfake)：將人臉或語音替換成另一人的技術，常遭惡意使用。
數位浮水印 (Digital Watermark, 必定考)：在 AI 生成的圖像或資料中隱藏機器可讀的標記（如 OpenAI 的做法），用以辨識內容是否為 AI 生成或有否遭竊取。

🔄 系統運作機制與標準

人在迴圈 (Human-in-the-loop, HITL)：
- 人在迴圈中 (In the loop)：AI 決策流程中，必須有人類介入參與及監控。
- 人在迴圈上 (On the loop)：系統自動化運行，但人類可隨時介入覆寫或監控。
- 人在迴圈外 (Out of the loop)：系統完全自動化，無人類介入。
幻覺 (Hallucination)：
- AI 大型語言模型本質上是在「預測下一個字詞」。當推論過度或缺乏實際資料時，就會產生「一本正經胡說八道」的現象。
- 解決方法：透過 RAG (檢索增強生成) 讓模型基於指定資料進行推論，或加強系統提示詞 (Prompt)。
國際標準認證：針對 AI 管理系統的國際標準為 ISO 42001。

第三堂課 L11201 資料基本概念與來源

📌 課堂與學習指引

學習方法：每天 1 小時，專心聽講、放鬆吸收，不要過度思考或做筆記。課後會提供語音轉文字的重點精華供複習。
簽到提醒：記得於 10:50 前完成前點名，並於課後完成後點名（累積 16 次可獲參加證明）。
適用對象：本課程針對零基礎（如非技術背景之上班族）設計，若為進階工程師可能較不適合。

📊 資料型態與基本名詞 (必定考點)

1. DIKW 金字塔模型

描述資料轉化為價值的四個層次：

D - Data (資料)：原始、未經處理的紀錄或數值。
I - Information (資訊)：賦予資料意義與脈絡（Who, What, Where, When）。
K - Knowledge (知識)：將資訊內化、歸納出的規則或經驗。
W - Wisdom (智慧)：能以第三方/客觀角度判斷，並做出最佳決策的能力（如 AI 輸出的平均值）。

2. 資料的結構化分類

結構化資料 (Structured Data)：可以整齊填入 Excel 表格或關聯式資料庫（如 MySQL, SQL Server）的資料。例如：身高、體重、溫度、金額。
非結構化資料 (Unstructured Data)：無法輕易表格化的資料。例如：影片、圖片、錄音、文章。
半結構化資料 (Semi-structured Data)：具有部分結構特徵，如字典檔格式。例如：JSON、XML、HTML。

3. 數值與尺度分類

變數分類：
1. 離散變數：可數的整數（如 1, 2, 3）。
2. 連續變數：有小數點的連續數值。
四種測量尺度 (必定考，注意層級與特性)：
1. 名目尺度 (Nominal)：僅作分類代號，無順序與大小之分（如：1代表男，2代表女）。
2. 順序尺度 (Ordinal)：有大小、順序關係（如：國小、國中、大學 / 滿意度高低）。
3. 區間尺度 (Interval)：有固定區間差距，但「0」是人為定義的，不代表「沒有」（如：溫度 0 度不代表沒有溫度）。
4. 比例尺度 (Ratio)：最高層級的尺度，包含前三者的所有特性（分類、順序、等距），且具有絕對零點（0 代表完全沒有，如長度、重量）。

📂 大數據與資料處理流程

1. 大數據的 5V 特性

從最初的 3V 演進而來：

Volume (資料量)：通常需達到 TB、PB 甚至 EB 等級。
Velocity (速度)：資料生成與處理的速度。
Variety (多樣性)：資料來源與格式的多元化（越亂、越多元，AI 預測通常越準確）。
Veracity (真實性)：資料來源是否可信、正確（如果資料是假的，後續分析皆無意義）。
Value (價值)：分析後能帶來的商業價值。

2. 資料儲存與獲取方式

資料庫系統：
- 關聯式資料庫 (RDBMS)：處理結構化資料（如 Excel 進階版）。
- 非關聯式資料庫 (NoSQL)：處理非結構化、分散式資料（如 Facebook 的留言、圖片），強調非即時同步。
資料倉儲 (Data Warehouse)：存放大量已處理、具結構的歷史資料（如 Costco 量販店）。
資料湖泊 (Data Lake)：存放各種原始、未經處理的資料，結構化與非結構化皆有（像湖泊一樣甚麼都丟進去）。
資料市集 (Data Mart)：從資料倉儲中擷取出來，針對特定部門或業務建立的小型資料庫。
網路爬蟲 (Web Crawler)：透過程式模仿人類行為抓取網頁資料（講師建議能買資料就買，自己爬蟲維護成本高）。
API (應用程式介面)：系統間的溝通協定。為了資料安全與穩定性，提供標準化、結構化的資料接口。

3. 進階資料類型

時間序列資料 (Time Series Data)：帶有時間標記的連續資料（如股票走勢）。對應模型為 RNN、LSTM，或傳統迴歸模型 ARIMA。
空間資料 / 地理資訊系統 (GIS)：包含空間與位置觀念的資料（如地震分布、Google Map）。

🤖 機器學習的資料集切分 (必定考點)

AI 模型的訓練過程，必須將收集到的「原始資料集」切分為三個獨立的區塊：

訓練集 (Training Set)：用來教導（訓練） AI 模型的資料（如同平時的小考）。
驗證集 (Validation Set)：在訓練過程中用來調整模型參數、驗證模型好壞的資料（如同期中考/模擬考）。
測試集 (Test Set)：被嚴格鎖在保險箱裡的資料。模型在開發過程中絕對沒看過，僅在最終上線前用來評估最終效能的資料（如同大考/期末考）。

模型訓練的結果評估：

Overfitting (過度擬合)：訓練集成績很好，但測試集成績很差（平時考滿分，大考不及格，代表模型只會死背）。
Underfitting (欠擬合)：訓練集與測試集的成績都很差（模型連基本的規律都沒學會）。
Good fit / Well-fitted：訓練集與測試集皆有良好的表現。

(備註：另有提及為解決隱私或資料稀少問題（如罕見疾病、車禍影像），可使用 AI 生成「合成資料 (Synthetic Data)」來協助訓練。)

第四堂課 L11202 資料整理與分析流程

🧹 資料管道 (Data Pipeline) 與前處理 (必定考點)

1. 資料管道的標準流程

從資料產生到應用，必須經過一套標準管線：

資料來源 (Source) ➡️ 資料獲取 (Ingestion) ➡️ 資料轉換與處理 (Processing) ➡️ 資料儲存 (Storage, 如資料湖泊/倉儲) ➡️ 資料應用 (Application/AI)

2. ETL 過程 (必定考)

將資料從來源端移動到目的地的三個關鍵步驟：

E (Extract, 抽取)：從龐大且複雜的來源系統中，抽出所需要的資料部分。
T (Transform, 轉換)：將資料清洗、格式化，轉換成符合分析或儲存標準的格式。
L (Load, 載入)：將轉換好的資料載入目標資料庫或資料倉儲中。

3. 資料前處理與清理 (Data Preprocessing & Cleaning)

資料前處理是整個 AI 專案中最困難、最耗時（也最不想做）的環節，但「只要資料處理得好，AI 答案就會好」。

缺失值處理：
- 刪除法：若資料量夠大，建議直接刪除缺失資料。寧願刪除也不要亂填，以免引發錯誤預測。
- 填補法 (插補)：僅適用於具高度邏輯連貫性的連續資料（如昨天體重 85kg，明天體重 84kg，今天遺失值可合理填補為 84.5kg）。醫療資料絕對不可亂填。

4. 異常值偵測 (Outlier Detection)

透過箱型圖 (Boxplot) 可輕鬆找出極端值（如天才與白癡）。
判定標準：數值高於「最大值（$Q3 + 1.5 \times IQR$）」或低於「最小值（$Q1 - 1.5 \times IQR$）」的資料點即為異常值。

5. 資料標準化與常態化 (極易混淆，必考)

為了讓單位與範圍落差極大的資料（如 0~100 與 10~200萬）能放在一起比較，必須進行數值轉換：

資料標準化 (Standardization / Z-score)：將資料轉換為「平均值為 0，標準差為 1」的常態分佈。
資料常態化/正規化 (Normalization / Min-Max)：將資料按比例壓縮到特定區間（通常為 0 到 1 之間）。公式為：$(數值 - 最小值) / 區間範圍$。

🏗️ 特徵工程 (Feature Engineering)

從原始資料中找出對 AI 預測最有價值的變數（特徵）。

特徵萃取 (Feature Extraction) 與 PCA 降維：
- 當資料欄位（維度）太多導致電腦算不出來（維度的詛咒）時，需使用 PCA (主成分分析) 將資料降維。
- 例如：將國、英、數、理、史、地 6 個欄位，透過數學映射轉換為「文科能力」與「理科能力」2 個特徵。
特徵交叉 (Feature Cross)：將不同的欄位組合起來進行分析（如結合「城市」與「季節」來預測羽絨衣銷量）。
資料編碼 (Data Encoding, 必考)：將文字轉為電腦看得懂的數字：
- Label Encoding (標籤編碼)：適用於「有順序、大小關係」的類別（如教育程度：低=0, 中=1, 高=2）。
- One-Hot Encoding (獨熱編碼)：適用於「無順序關係」的類別。將一個欄位拆分為多個獨立欄位（虛擬變數）。例如顏色（紅, 綠, 藍），會轉換為三個欄位，紅=[1,0,0]、綠=[0,1,0]。

📈 統計學基礎觀念

1. 敘述性統計 (Descriptive Statistics)

用來描繪資料真實樣態的統計指標，包含：最大值、最小值、中位數、平均數、標準差，以及四分位數（Q1, Q3）。

箱型圖 (Boxplot, 必考)：
- Q1：第 25 百分位數。
- Q3：第 75 百分位數。
- IQR (四分位距)：$Q3 - Q1$。
集中趨勢：平均數（易受極端值影響，如郭台銘的薪水）、中位數（最中間的值）、眾數（出現最多次的值）。
離散趨勢：
- 全距：最大值 - 最小值。
- 變異數：衡量資料波動大小。數值越大波動越高。
- 標準差：變異數開根號。

2. 相關性分析 (Correlation Analysis, 必考)

評估兩個變數之間的關聯程度（皮爾森相關係數），數值介於 1 到 -1 之間：

接近 1 (正相關)：兩者同向變動（你往東走，我也往東走）。
接近 -1 (負相關)：兩者反向變動（你往東走，我往西走）。
接近 0 (零相關)：兩者無明顯關聯。

3. 資料不平衡 (Data Imbalance) 處理

當某類別資料極少（如幾萬筆交易中只有 100 筆詐騙），會導致 AI 預測失準：

過採樣 (Oversampling / SMOTE)：資料量不足時，將少數樣本複製或「合成假資料」使其數量與多數樣本齊平。
欠採樣 (Undersampling)：若少數樣本數量「已經足夠做分析」，且多數樣本非常龐大時，則刪除部分多數樣本，直到兩者數量相等。

4. 資料視覺化 (Data Visualization)

目的：為了方便人類肉眼快速看出資料樣態與規律。
常見圖表：散佈圖 (Scatter plot，最多呈現 3~5 維資料)、長條圖、直方圖、熱力圖（顏色越深/紅代表數值越高）。
EDA (探索性資料分析)：利用圖表等工具，從資料中探索規律與挖掘洞見的過程。

第五堂課 L11203 資料隱私與安全

📌 課堂與學習指引

學習心態：放鬆吸收，以理解圖表與核心觀念為主。不用死背數學公式。
課程資源：包含 8 本講義（春夏秋冬意象連貫）、考試題庫，以及額外介紹使用 AI（如 Streamlit）無程式碼開發實用小工具（如招募儀表板、拍賣網頁等）的延伸課程。
簽到提醒：記得於課後完成第二次點名（後點名）。

🛡️ 資料隱私與安全規範 (必考點)

核心觀念：己所不欲，勿施於人。 AI 時代的資料保護是貫穿全局的精神。
歐盟 GDPR：全球最嚴格的個人資料保護法，是所有 AI 隱私規範的最高標準。
敏感資料：如病例、私生活紀錄等，若外洩極易對當事人造成嚴重傷害或引發社會歧視的資料。
資料處理原則：
- 資料最小化 (Data Minimization)：為了達成分析目標，只收集「最少且必要」的資料量（例如：只需今年報名率，就不需收集全國資料）。
- 去識別化 (De-identification)：刪除姓名、身分證、地址等可辨識特定個人的資訊。
- 去匿名化/匿名化 (Anonymization)：比去識別化更嚴格，確保資料「永久且不可逆」地無法追蹤回個人。處理後的資料常需用分群演算法（Clustering）重新分類。
- 偽匿名化 (Pseudonymization)：用假名或隨機代碼替換真實身分，但透過「加密鑰匙」仍可還原（可逆）。

🔐 密碼學與加密技術

雜湊函數 (Hash Function)：
- 將一段有意義的文字（如准考證號），轉換成一串固定長度、無規則的 16 進位亂碼。
- 目的：避免規律被破解（如避免學生猜測網址提前看到放榜名單）。
加密與解密：將資料「上鎖」與「解鎖」的過程。
- 對稱加密 (Symmetric Encryption)：加密與解密使用「同一把」鑰匙。風險是若鑰匙在傳輸中被攔截，資料就會被破解。
- 同態加密 (Homomorphic Encryption, 必考)：資料在「加密狀態下」就能直接進行運算，不需解密。非常適合應用在金融或醫療資料上傳至雲端運算的場景，確保資料絕對安全。

🌐 系統架構與分散式技術

聯邦學習 (Federated Learning)：
- 一種「資料不落地」的機器學習技術。
- 運作方式：雲端主機將「全局模型」下發至各個本地設備（如工廠機台、個人手機）。各設備在本地端用自己的資料訓練模型後，只將「更新後的模型參數」傳回雲端進行聚合（整合）。
- 優勢：在「不共享原始資料」的前提下，共同訓練出強大的模型（常用於去中心化場景，如區塊鏈、數位錢包）。
去中心化 (Decentralization)：
- 取代傳統由單一機構（如學校、政府）集中發放與銷毀憑證的模式。
- 應用場景：未來的數位身分證、畢業證書、食安認證。使用者符合資格後，系統會自動在區塊鏈上驗證並核發數位憑證，供使用者自主管理。

🧠 機器學習與深度學習核心原理

1. 機器學習的三大分類

根據「資料是否有預先標記（Label）」來區分：

監督式學習 (Supervised Learning)：資料「有」標籤。模型透過學習已標記的資料，找出分類規律（即 Classification 分類任務）。
非監督式學習 (Unsupervised Learning)：資料「沒有」標籤。模型需自行找出資料間的關聯性，將相似的資料歸類在一起（即 Clustering 分群任務）。
半監督式學習 (Semi-supervised Learning)：介於兩者之間，部分資料有標籤，部分沒有。

2. 神經網路架構

類神經網路 (ANN)：包含固定的輸入層（資料來源）、輸出層（預測結果/機率，如貓 85%、狗 15%），以及少量的隱藏層。資料在其中以「向量 (Vector)」形式進行運算（即所謂的黑盒子）。
深度學習 (Deep Learning)：當隱藏層增加到非常多層（如數十、數百層）時，即稱為深度學習。

3. 常見深度學習模型及其應用

CNN (卷積神經網路)：專門處理「影像/圖片」相關任務。
RNN (循環神經網路)：處理與「過去歷史資料」有相關性的任務。
LSTM (長短期記憶網路)：RNN 的進階版，專門處理與「時間序列」相關的任務。

4. 強化學習 (Reinforcement Learning)

核心元件：
- 代理人 (Agent)：AI 本體（如遊戲中的機器人）。
- 環境 (Environment)：代理人所處的場景。
- 狀態 (State)、動作 (Action)、獎勵 (Reward/Penalty)。
運作機制：代理人在環境中執行「動作」，環境會根據動作給予回饋（正向獎勵或負向懲罰），代理人藉此記住「狀態-動作-獎勵」的關係，不斷優化決策。
應用場景：自動打遊戲（如打磚塊、下棋）、AI 網購機器人（如 OpenCloud 的應用）。
進階技術：Q-Learning 為強化學習的進階應用分支。

第六堂課 L11301 機器學習基本原理

📌 課堂指引與 AI 實務延伸

學習心態：放鬆心情聽講，以理解講義中的圖表與核心觀念為主，不需死背艱澀的數學定義。
實務應用補充：課程中特別推薦使用 Streamlit 工具。它能讓沒有程式背景的初學者，透過 AI 生成程式碼，快速打造並上架免費的網頁應用程式（如招生儀表板、拍賣網頁等），幫助簡化日常工作。
模型本質：AI 的訓練本質就是「模仿真實的行為與習慣」（例如：將離職同事的對話紀錄丟給 AI，就能生成一個模仿該同事講話風格的機器人）。

📉 誤差評估與最佳化演算法 (必定考點)

損失函數 (Loss Function)：衡量「模型預測值」與「真實值」之間的誤差。為了方便計算最小值，通常會取平方（形成拋物線）。目標是讓誤差越小越好。
成本函數 (Cost Function)：將所有資料點的「損失函數（誤差）」加總起來的整體評估指標，目標同樣是追求極小化。
梯度下降法 (Gradient Descent)：一種尋找最低誤差值（最佳解）的搜尋演算法。概念如同「走梯田下山」，透過不斷計算坡度方向，一步步往谷底移動。
學習率 (Learning Rate, $\alpha$ 或 $\eta$)：決定梯度下降時「步伐大小」的參數。
- 設太大：會在谷底兩側劇烈震盪，無法找到最低點。
- 設太小：收斂（下山）速度極度緩慢，浪費運算資源。
- 實務建議：若無特別需求，初始值通常設為 0.1 左右。
局部最佳解 (Local Minimum) vs. 全域最佳解 (Global Minimum)：梯度下降法有時會卡在半山腰的低谷（局部最佳解），而無法走到真正的最深谷底（全域最佳解）。這受限於演算法起始點的選擇。
收斂 (Convergence) vs. 發散 (Divergence)：
- 收斂：模型經過反覆運算後，成功找到一個穩定且誤差極小的最佳解。
- 發散：模型極度不穩定，怎麼算都找不到最佳解，誤差甚至越來越大。

⚖️ 模型擬合問題與偏差變異權衡

過擬合 (Overfitting)：訓練誤差低，測試誤差高。模型過於複雜，把訓練資料的雜訊都死背下來（如同平時考滿分，大考卻不及格）。變異大、泛化能力差。
欠擬合 (Underfitting)：訓練誤差高，測試誤差也高。模型過於簡單，無法捕捉資料的真實趨勢（如同用一條直線去硬湊曲線資料）。偏差大。
良好擬合 (Good Fit)：在偏差與變異之間取得平衡，對未知資料具備最強的預測能力（泛化能力最強）。
偏差與變異權衡 (Bias-Variance Tradeoff)：
- 高偏差 (High Bias)：模型太簡單，預測值偏離真實趨勢。
- 高變異 (High Variance)：模型太複雜，預測曲線劇烈震盪。

📊 分類模型的效能指標 (必定考點)

當面對「類別預測」（如：判斷是否有生病、辨識男女）時，必須使用以下指標來評估模型好壞：

混淆矩陣 (Confusion Matrix)：
- 真陽性 (TP, True Positive)：實際為真，預測為真（預測正確）。
- 真陰性 (TN, True Negative)：實際為假，預測為假（預測正確）。
- 假陽性 (FP, False Positive)：實際為假，卻預測為真（誤報）。
- 假陰性 (FN, False Negative)：實際為真，卻預測為假（漏報）。
準確率 (Accuracy)：(TP + TN) / 總數。整體猜對的比例。
精確率 (Precision)：TP / (TP + FP)。在所有「預測為真」的結果中，真正猜對的比例。
召回率 (Recall)：TP / (TP + FN)。在所有「實際為真」的樣本中，成功被模型找出來的比例。
ROC 曲線與 AUC：
- AUC (Area Under Curve)：ROC 曲線下方的面積，最大值為 1。
- 若曲線呈現向左上角凸出的形狀，且 AUC 數值落在 0.7 到 0.8 之間，代表模型預測準確度不錯。數值越接近 1 越好。

⚙️ 模型驗證與超參數設定

數值預測評估指標：針對迴歸模型（連續數值），常用 MSE (均方誤差) 或 RMSE (均方根誤差) 來評估。數值越小，代表誤差越小。
超參數 (Hyperparameters)：在模型開始訓練前，必須由人類（工程師）手動設定的參數（如：學習率大小、訓練次數、批次大小）。
超參數搜尋方法：
- 網格搜尋 (Grid Search)：像網子一樣，將所有參數組合切成一格一格，有系統地全部計算一遍。
- 隨機搜尋 (Random Search)：在參數空間內隨機挑選點進行運算。
$K$-Fold 交叉驗證 (Cross Validation)：為避免模型剛好抽到「特別簡單」的測試資料而產生極端成績，會將資料切成 $K$ 份（如 10 份），讓模型輪流考 10 次並取平均成績。若最高分與最低分落差不大，代表模型非常穩定。

第七堂課 L11302 常見的機器學習模型

第八堂課 L11401 鑑別式AI與生成式AI的基本原理

第九堂課 L11402 鑑別式AI與生成式AI的整合應用

第十堂課 L12101 No Code / Low Code的基本概念

第十一堂課 L12102 No Code / Low Code的優勢與限制

第十二堂課 L12201 生成式AI應用領域與常見工具

第十三堂課 L12202 如何善用生成式AI工具

第十四堂課 L12301 生成式AI導入評估

第十五堂課 L12302 生成式AI導入規劃

第十六堂課 L12303 生成式AI風險管理

Page updated

Google Sites

Report abuse