1. PCAのおさらい

PCAのおさらい

まずここに変数x, y, zのデータ系列i = 1,2, ... nを並べた行列Dがあるとします。衛星画像でいえばx, y, zはたとえば各バンドのDN値とかです。iはたとえば画素に相当します[2]。前処理として、各変数の平均値をもとのデータから引いてあるものとします（中心化）。

PCAの目的のひとつは、変数x, y, zを組み合わせて、データのばらつきが最大となるような新しい変数（主成分）を作り出すことです [3]。そのために、まずは手元のデータのばらつきを評価することにします。xの分散、yの分散、zの分散、および互いの共分散を同時に評価するのに分散共分散行列Σが便利です。これは先ほどの中心化データDで表現でき、

です。x, y, zの線形結合で新しいベクトルq（主成分ベクトル）を作ったとき、このベクトル方向への各データの射影（主成分スコア）は

です。線形性から、この主成分スコアも中心化済みで、分散は二次形式

により計算できます。これを最大化するqを求めればよいです。ただし制約条件として、「主成分ベクトルのノルムは1」を課しておきましょう。そうしないと単に|q|→∞へ吹き飛ばせば勝利となりますので。

まとめると、解くべき問題は

です。

一般に関数 f(x1,x2, ...) = k（可変）が制約条件 g(x1,x2, ...) = 0 のもとで極値となる候補は、両者のグラフが接する点です。そこではグラフの法線ベクトル∇fと∇gが互いに平行になるので、ある定数λが存在し∇f = λ∇gです。より実践的には、関数 L(x1,x2, ..., λ) = f - λgをつくり、Lのxとλでの偏微分を0と置くことで条件式を網羅できます。

ということで条件が出ました[4]。(1)は固有値問題で、要はもとのデータ系列Dの分散共分散行列Σの固有ベクトル（最大固有値に対応するもの）を求めれば、それが欲しかったqということです。

(2)は制約条件そのものです。ここで(1)の両辺に左からqTをかけますと

が出てきます。つまり(1)で求まる固有値は、対応する主成分スコアの分散を表すことになります。Σは対称行列なので、最大固有ベクトルにつづき、それぞれ直交する固有ベクトルが次元数分だけ得られ、それぞれが新しい（互いに独立な）主成分となります。固有値が大きいものから順に並べなおし、第1主成分、第2主成分…などと呼ばれるのが一般的です。

なお得られた固有ベクトルq1, q2, q3を横に並べた行列Q = [q1, q2, q3]を使って結果をまとめると