C. 101 〈擴增實境技術之基礎理論與開發實作〉
國立成功大學 蔡家齊老師
模組課程：擴增實境技術之基礎理論與開發實作
導入課程：人工智慧模型設計與應用
授課老師：成功大學電機系 蔡家齊老師
課程目標：
使學生了解擴增實境顯示技術及其應用與發展
使學生了解三維空間物件座標轉換與成像原理
使學生了解人機互動介面設計基本概念
使學生具備問題探討及動手實作的能力
課程內容：
前三小時：
課程以前瞻智慧擴增實境核心技術、產業應用和未來趨勢發展進行介紹，使學生了解擴增實境顯示技術中虛擬物件空間座標轉換及成像原理，並介紹擴增實境技術於現今主流發展物聯網之多元應用，如智慧醫療、智慧交通與智慧家庭等，以及分析各大科技產業於擴增實境中軟硬體核心技術開發扮演之角色。
後三小時：
課程提供學生擴增實境開發環境軟體 Unity 的安裝及使用教學，並教導學生基礎 Unity 程式開發概念，以及 Vuforia 行動裝置套件安裝及環境設定。接著透過使用行動裝置模擬擴增實境，以 Unity 程式開發環境進行標籤定位點辨認、圖片與 3D 物件投影、虛擬物件設計與成像布局規畫，讓學生發揮創意設計專屬個人化主題。最後導入使用者介面設計概念，教導學生開發人機操控介面，透過行動裝置控制擴增實境內虛擬物件，並結合嵌入式圖片和影片功能，使學生設計具備互動資訊顯示功能之個人化主題。
01. Introduction
以簡短的兩頁投影片，講述此模組課程講述之內容和各模組單元之規劃，住要分為六個單元，第一個單元為會對智慧運動做基本的介紹，第二個單元對AI和DNN網路的基礎理論進行介紹，第三個單元則會AI在影像視覺方面的應用進行介紹，第四個單元則會針對運動員動作分析中一項重要的技術Pose estimation作為case studies來進行蔣解，第五的單元則以嵌入平台的部屬與pose estimation和智慧運動的結合來介紹，並以專題競賽的方式來評量此模組課程的教學成果。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Introduction（PDF）
02. Overview of Smart Sport
本模組單元將以投影片，來介紹智慧運動的範疇，以Sabermetrics作為開頭，帶出現代的智慧運動不再僅是關注於運動員本身，而智慧化的訓練、分析、經營、還有球迷的參與都是智慧運動的一部分，除了一般之實體運動外、腦力層面的運動例如棋類，到賽車等大量科技與機械參與的極限運動，也都是智慧運動著重的一環。隨著AI的加入，現代的運動訓練和分析，甚至在場上的裁判輔助判決等，各個方面都能達到前所未有的精確度和判斷能力，未來愈來愈多AI技術引入的智慧運動，期待可以激發出各類運動的極限潛能。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Overview of Smart Sport（PDF）
03. Introduction to DNNs
本模組單元將以投影片，來介紹AI和DNN的基礎知識，從AI在資料集、模型、硬體、工作機會、應用成果的scaling開始，帶出AI對現在技術發展的重要性。接著介紹ML的基礎，從資料表示法轉換到基本的機器學習的方法，以及多層次資料表試法的轉換構成的深度學習網路(DNN)。而DNN中，又可以分為feed forward和feedback 神經網路，並介紹DNN中常見的幾種網路類型，包括MLP、CNN、RNN、LSTM、Transformers和GAN等神經網路，並以CNN為主來詳細介紹此種NN模型之模型架構、運算結構、數學模型、以及其訓練方法，最後講解通用的神經網路架構設計慣例來讓同學了解如何設計一個CNN網路。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Introduction to DNNs（PDF）
04. Popular DNNs and Applications
本模組單元將以投影片，來介紹AI在影像視覺中幾個重要的應用。一開始以物件辨識為主軸，以ILSVRC各年冠軍模型來介紹CNN網路的架構發展狀況，從Alexnet開始AI在影像辨識中嶄露頭角，至VGG將網路複雜度逐漸提升，接著GoogLeNet開始有特殊目的的網路連接架構，至ResNet解決的Gradient vanish和model degradation的問題，可以將神經網路的深度推至數百層的結構，大大提升了模型的generalization能力。接著則針對各項應用主題，以case studies的方式來帶出特殊應用在網路結構的不同性，包含了物件辨識、語意分割、物件分割、物件生成、影像風格轉換、Super Resolution等應用介紹。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
05. Pose Estimation
本模組單元將以投影片，介紹智慧運動中在動作分析中一個重要的應用領域-pose estimation，首先介紹pose estimation任務中幾個重要的分類，在影像的來源上可分為單目、多目、單張影像、多張連續影像的影片等，在目標上，可以分為2D姿態、3D姿態和人體外觀模型重建等任務，在方法上，又可以分為top-down，bottom-up、multi-task等作法，也有其他使用非影像sensor輔助的做法，本模組單元將會一一介紹上述的做法。接著，又將著重幾個著名的paper做法，以case studies的方式來介紹其架構，應用領域，與實作方法。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Pose Estimation（PDF）
06. Lab Exercise (1)
本模組單元將以以Pose estimation為應用範例，並以tensorflow為實作語言，透過實作的方式讓同學們學習如何搭建一個完整的pose estimation模型，並學習如何透過演算法的方式來做到bottom-up的grouping，得以將網路的結果轉換為最終的多人骨骼關節點輸出，接著本模組將會以NVIDIA Jetson Nano 作為部屬之嵌入式硬體，教同學如何對模型進行壓縮和最佳化，以最善用硬體效能之方式於NVIDIA Jetson Nano上運行，其中含括了嵌入式平台的環境架設，開發方法，IN8 Quantization量化方法，和如何透過TensorRT 編譯加速AI模型，最後以專題競賽的方式來作為評估標準。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Lab Exercise （PDF）
07. Lab Exercise (2)
本模組單元將以以Pose estimation為應用範例，並以tensorflow為實作語言，透過實作的方式讓同學們學習如何搭建一個完整的pose estimation模型，並學習如何透過演算法的方式來做到bottom-up的grouping，得以將網路的結果轉換為最終的多人骨骼關節點輸出，接著本模組將會以NVIDIA Jetson Nano 作為部屬之嵌入式硬體，教同學如何對模型進行壓縮和最佳化，以最善用硬體效能之方式於NVIDIA Jetson Nano上運行，其中含括了嵌入式平台的環境架設，開發方法，IN8 Quantization量化方法，和如何透過TensorRT 編譯加速AI模型，最後以專題競賽的方式來作為評估標準。
適合學習對象：對人工智慧和智慧運動感興趣之高中生
跨領域：資訊工程、人工智慧、人文科學
相關檔案下載：Lab Exercise （PDF）