Interest point

在辨識一張影像時，首先要先提取影像的特徵，特徵點隱含的意思是，在一張影像中找不到重複的區域，也意味著特徵點和周圍顏色變化大，所以開始發展Corner detection。Corner 位於兩條邊緣的交點，特色是往任意方向移動，梯度值均會發生變化。

Harris corner detection

根據Corner的特性列出以下算式，欲找出和周圍梯度值變化大的區域。首先，先計算sum of square difference，求出intensity變化情形。

接著，對式子進行簡化，先用Taylor Series求得近似，再將近似後的式子以矩陣表示。因此sum of square difference可以近似如下。

E(u, v)又可近似於quadratic functions，矩陣M為positive define matrix，所以為橢圓形，再來，因為M矩陣為對稱矩陣，可以使用spectral decomposition，分解成eigenvalue 和方向向量，以橢圓標準式表示後了解到可以由eigenvalue求出兩軸軸長。

若將整張影像帶入式子計算，再將近似的橢圓疊加上去，以下三張圖可以觀察到當window選擇到不同區域時的變化，軸長均很短且圖形接近圓形則位於plat region，短軸長和長軸軸常差異很大則位於edge region，短軸長和長軸軸常均很長則位於corner region。

Algorithm

以下為實現Harris corner detection的流程圖，由OpenCV的函式cornerHarris()完成。

程式執行完的結果如下，第一張圖為輸入影像，可以看到上方有滑改可以直接改變threshold數值，第二張圖是在留下物件邊緣並圈出corner，第三張圖標示在輸入影像中corner的位置。

Conclusion

從以上模擬可以了解到，使用corner detection對人臉提取特徵，所偵測到的特徵點多數聚集在眼窩、鼻翼、兩側嘴角、眉骨。

cornerEigenValsAndVecs()

此函式使用 Sobel計算輸入影像的autocorrelation matrix，並求出autocorrelation matrix 的eigenvectors 和 eigenvalues，回傳值為( λ1, λ2, x1, y1, x2, y2 )，共兩組eigenvectors 和 eigenvalues。

cornerMinEigenVal()

此函示和cornerHarris()使用上差異不大，差異在cornerMinEigenVal() 是計算autocorrelation matrix的最小eigenvalue。

cornerSubPix()

這個函式和前面則是不同概念，cornerSubPix() 目的在於找出精確的corner位置。

接下來我在實踐cornerHarris()的程式碼中也加入一行程式碼將corner位置打印出來，計算一下數量，共有14個corner，因此我將cornerSubPix()跑出來的結果拖曳滑桿讓corner也同樣呈現14個，結果如下。

首先先看打出來的結果，cornerHarris()僅呈現整數cornerSubPix()則計算到小數點後三位，大致上整數部分數值都很接近。在看到結果圖，標示出的corner幾乎都有重複，差異最多的是嘴角的部分，cornerSubPix()沒有偵測到兩側嘴角，右眼的部分則像是cornerSubPix()因為更精確，所以將cornerHarris()重疊的點分開。

因為有先寫過Harris corner detection的數學原理和演算架構的作業，這次在解讀程式碼的部分沒有太大的問題，比較花時間研究的是到cornerEigenValsAndVecs(), cornerMinEigenVal(), cornerSubPix()，一開始我以為三種函使是cornerHarris()的改良版所以直接以cornerHarris()的程式碼做改寫，但失敗，所以就去參考OpenCV所提供的程式碼，才發現之間的差異。

我嘗試使用Matlab完成Harris corner detection，但目前未成功。程式碼似乎不完整，因為有幾個必須自己寫的函數，而且每個函數都會相互影響，因此我無法確定真正的問題在哪裡。不過，我猜測問題可能出在最後一個步驟，也就是取區域內最大值作為corner的函數。

以下是我使用Matlab進行Harris角點檢測但未成功的結果圖：