2017-a-Spring

NCTS 2017 Courses on High-Performance Computing and Deep Learning

國家理論科學研究中心 2017 年春季課程：「高效能計算與深度學習」

重要訊息

[2017/04/18] The slides of Keras hands-on have been uploaded to the google drive.
[2017/04/13] The slides of CNN and Installation of Keras (20170420_Installing Keras.pptx) have been uploaded to the google drive.
[2017/04/12] (1) The slides of RBM and DBN have been uploaded to the google drive. (2) Possible problems are listed here.
[2017/3/30] (1) Today's slides have been uploaded to the google drive. (2) Please read Chapters 3, 4, 5 of Michael Nielsen's ebook in the next two weeks. (3) Remember to do 3-4 exercises.
[2017/3/23] (1) Michael Nielsen's website, e-book with question ID and exercises. (2) Course materials are available online. (3) Homework due on 3/30: [a] Read Chapters 1 and 2 of Nielsen's ebook. [b] Read and work on the python codes. [c] Derive the backpropagation formula of a network containing an input layer, one hidden layer, and an output layer with 10 neurons.
[2017/1/12] 本課程「 Part A. 高效能計算」部分是集中課程 (2/21-2/24, 英文授課，詳細資訊：https://goo.gl/Im6v98) 。「 Part A. 高效能計算」的報名網址是 https://goo.gl/forms/Gsi5AXujUZtTZrcf1 (報名截止日期： 2017/01/20。本課程不收費用，但名額有限，獲得錄取學員將另行通知。)
[2017/2/28] 本課程加開助教課，時間是2017/3/1 (星期三) 下午 13:00 至 15:00，地點在天數301，助教會帶大家補做2/24的習題以及回答關於程式的疑問，請大家把握機會。

上課時間與地點

A. 高效能計算 (英文授課，詳細資訊：https://goo.gl/Im6v98)
- 2017/2/21 (二), 2/22 (三), 2/23 (四), 2/24 (五) 9:10-12:00, 13:10-17:00 @台大天文數學館 301教室
- 授課教師：Kengo Nakajima (The University of Tokyo)，Takahiro Katagiri (Nagoya University)
B. 深度學習
- 2017/3/23, 3/30, 4/6, 4/13, 4/20, 4/27 (四) 12:20-15:10 @台大天文數學館 202教室
- 授課教師:王偉仲 (台大數學系)、陳素雲 (中研院統計所)、陳定立 (中研院統計所)

課程內容

高效能計算與深度學習，都是當今快速發展的重要課題。透過對大型問題與巨量資料的高速計算與分析能力，不僅可以引領科學與工程的新洞見與新應用，對人類如何發現新知識，更產生了典範轉移的效應。我們希望透過這個課程，讓學生能使用平行計算的觀念來思考問題，進而設計高效能的平行演算法，實作平行程式，並解決實際應用問題。此外，我們也將協助學生對深度學習有基本的認識，然後在電腦上設計與實作深度學習模型，利用巨量資訊訓練模型，並將訓練好的模型，應用在實際問題。

學習主題包含兩項主軸:一、在高效能計算的部分，我們將簡介 MPI 與 OpenMP 的平行計算環境，說明如何在此平行環境求解稠密矩陣的特徵值問題，並將有限體積法以及大型線性系統疊代法平行化，求解三維 Poisson 方程。課程中將使用最先進的超級電腦實機操作。二、在深度學習的部分，我們將介紹 CNN, RNN, DNN等類神經網路的原理與數學推導，以及regularization, early stopping, dropout, parameter tuning 等模型訓練技巧。並實作深度學習模型，處理醫學影像、圖畫風格擷取、語音與影像辨識等應用問題。

上課教材

[1] 教師自編講義

[2] High Performance Scientific Computing by Randall J. LeVeque (Coursera edition)

[3] Introduction to Parallel Programming: Using CUDA to Harness the Power of GPUs by David Luebke, John Owens, Mike Roberts, Cheng-Han Lee (Udacity edition)

[4] Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville (2016), http://www.deeplearningbook.org/

[5] Neural Networks and Deep Learning by Michael Nielsen (2016), http://neuralnetworksanddeeplearning.com/

[6] Keras: Deep Learning library for Theano and TensorFlow, https://keras.io/

主持人：王偉仲 (台灣大學數學系與應用數學科學研究所)

聯絡人：冼汶霖 (02-3366-8814, loreinahsien@ncts.ntu.edu.tw)

Sponsor:

The National Center for Theoretical Sciences (website)