Seminar in Functional Analysis and its applications

泛函分析理論與應用專題研討

這是碩士班的 meeting 課程，本學期的主題圍繞泛函分析在數據科學中的應用。

上課時間為週五下午 14:00-17:00

Topics

1. Reproduction Kernel Hilbert Space(RKHS) 許郁琪報告

   • 這問題是源於統計中的迴歸問題。為了求某最小平方泛函的最小值，可以用 evaluation kernels 來建構解的空間。如此一來，便可以將無窮維變分問題簡化為有限維的矩陣微分問題。 [統計]

2. Functional Analysis for PDE regularity, in application to Perelman's entropy 

   • Compactness and basic properties of Hilbert spaces 蔡約秩報告

   • 研究幾何偏微分方程時，entropy 扮演重要的角色。在龐加萊猜想的證明中，Perelman's W-entropy 與 mu=inf W 是非常關鍵的，有時必須證明 mu 是可以達到的，因此要證明極小函數存在。[幾何分析] 陳志偉報告

3. Manifold learning 李沂樺報告

   • PCA

   • Hessian LLE and Laplacian eigenmap

4. Kernel PCA and Functional PCA 郭芝融報告

   • Support Vector Machine 或 Kernel PCA 都是考慮揉合變數所產生的高維度空間，並在其上考慮極值問題。類似 RKHS，這裡也需要用到泛函分析的概念。[多變量分析]

5. Consistency problem of graph Laplacian 林立人報告

   • graph Laplacian(gL) 是 n 維方陣，其中 n 是點的個數。當我們使用 gL 來研究數據資料時，n  的個數可能非常大，我們希望能夠研究 gL 在 n 很大的時候的行為，特別是其收斂性。此時必須使用泛函分析。[數據科學]

6. Spectral Analysis

   • 廣義的譜分析包含泛函理論的譜分析(spectral analysis)、譜幾何(spectral geometry)、譜圖論(spectral graph theory)。希望有人可以報告基本的泛函譜分析。

7. (Variation) or (Mountain Pass Theorem and Palais-Smale condition)

實際進度

1. 2/28放假，欲修課同學請自行與老師確認課程內容以便決定是否選此課程

2. 3/6 Reproducing kernel Hilbert space (1) 許郁琪

   • 介紹 kernel matrix，解釋其對稱性與正定性

   • Representater Theorem(RT) 及其證明（利用函數空間的投影分解）

   • 使用 RT 將極值問題化簡成矩陣問題，使用一次微分得到極值函數的必要條件。結論是只要 K+\lambda I 可逆的話，就可以找到極小函數

   • 課後思考：

     • 證明由 evaluation function 所定出來的 K 的正定性。

     • 極值問題中的 |f|^2 能否改成其他形式？例如涉及微分。

     • 可參考：https://en.wikipedia.org/wiki/Representer_theorem

3. 3/13 Functional analysis (1) 蔡約秩

   • norm and Banach space

   • Contraction map and a fixed point theorem (Thm 5.1)

   • Continuity method for linear operators (Thm 5.2)

   • Statement and the significancy of Fredholm alternative (Thm 5.3)

4. 3/20 老師出差放假

5. 3/27 Manifold Learning (1) 李沂樺

   • eigenvalues of AB and BA are the same (except zeros)

   • SVD and Principal Component Analysis(PCA)

6. 4/3放假

7. 4/10 Kernel method (1) 郭芝融

   • Support Vector Machine

   • Lagrange duality and KKT condition

   • soft-margin

8. 4/17 Laplacian and heat kernel (1) 林立人14:10-16:00

   • Discretizing Laplace-Beltrami operator: the heat kernel approach

9. 4/24 Reproducing kernel Hilbert space (2) 許郁琪

   • Use Taylor remainder to set up a decomposition of RKHS.

10. 4/24 Conventions of matrix differentiation 李沂樺(40 mins)

11. 5/1 Manifold Learning (2) 李沂樺; 

    • KKT examples

    • Non-convex quadratic programming: barrier function 

12. 5/1 RKHS and Sobolev norm 許郁琪(40 mins)

13. 5/8 Functional analysis (2) 蔡約秩

    • Proof of Fredholm alternative

14. 5/15 Differential forms in R^n 陳志偉

    • k-form and exterior product

    • exterior derivative (gradient, curl, divergence)

15. 5/15 Kernel method (2) 郭芝融

    • Functional PCA (Reference: Karhunen–Loève theorem)

16. 5/22 Laplacian and heat kernel (2) 林立人

    • 私下討論。同學放假一週。

17. 5/29 Reproducing kernel Hilbert space (3) 許郁琪

    • spline and the RK on unit circle

18. 5/29 Manifold Learning (3) 李沂樺

    • Hessian LLE: algorithm

19. 6/5 老師出差，放假一次。

20. 6/12 Functional analysis (3) 蔡約秩

    • Lax-Milgram theorem and its application

    • Weak compactness of Hilbert space 

21. 6/19 Kernel method (3) 郭芝融

    • SVM: an experiment

22. 6/19 Tychonoff's theorem in topology 劉安翔

23. 6/26 端午節

Reference

• Reproducing Kernel Hilbert Space, Representer Theorem

• Elliptic PDE, Gilbarg and Trudinger, Ch.5

• Kernel Principal Component Analysis, Bernhard Scholkopf , Alexander Smola , Klaus, Robert Muller

• Zeidler's books on Applied Functional Analysis

• Foundations of Machine Learning, M. Mohri, A. Rostamizadeh, and A. Talwalkar, Ch6 - Kernel methods and Ch11 - Regression. 

• The Elements of Statistical Learning: Data Mining, Inference, and Prediction. T. Hastie, R. Tibshirani, and J. Friedman, Second Edition.