2. MNFの導出

PCAみたいにやってけば解けるよ！

ということでMNFです。PCAでは分散が最大となる新しいベクトルqを、qTq=1の条件のもとで作ることが目的でした。先取りしていってしまえばMNFの目的は、

ノイズ比が最大となる新しいベクトルqを、qTΣq=1の条件のもとで作る

ことです。まさにmaximum noise fraction (MNF) ですね。

PCA同様、ノイズ比最大の軸だけでなく、それぞれ独立なベクトルが次元数分だけ得られます[1]。qTΣqは変換後の軸におけるスコア（この場合はMNFスコアと呼ばれるのですかね）の分散です。つまり制約条件は、「変換後のそれぞれの軸において、分散が等しくなる（常に1）」ことです。

概略はわかったと思いますが、ではノイズ比ってなんやねんという話になりますね。まず中心化データ系列Dについて、意味のある信号（シグナル）と、ランダム誤差（ノイズ）の和で書けると考えます。

大文字のSとNはそれぞれシグナルとノイズを表すインデックスです。データ系列の分散共分散行列Σは1/n DTDで計算できますが、成分を具体的に書き下していくと、(1) シグナル成分同士の掛け算の項、(2) ノイズ成分同士の掛け算の項、(3) シグナルとノイズの掛け算の項が出てきます。(1) はシグナル成分の分散共分散行列、(2) はノイズ成分の分散共分散行列となります。さらに、シグナルとノイズが互いに独立であるとすれば、(3)は積算すれば0になると考えられます。よって

です。

ある軸qへのデータ系列Dの射影（MNFスコア）の分散は先述のとおりqTΣqです。いっぽう、ノイズ成分の分散は同様の議論でqTΣNqとなります。これらの比、つまり全体のデータの変動に占めるノイズ成分の変動の割合が、お目当てのノイズ比です。

つまり解くべき問題は

となります[2]。ただ制約条件をよく見れば、要するにこれは

ですね。MNF変換後はスコアの分散が1に固定なので、ノイズ成分の分散がそのままノイズ比になります。ではラグランジュの未定乗数法を使いましょう。

例によって (2) は制約条件そのものです。(1) について、Σがフルランクであれば逆行列が存在し、両辺左からかけると

ということでΣ-1ΣNの固有値・固有ベクトルを求めればよいことになります[3]。

最後に残った課題は、ノイズ成分の分散共分散行列ΣNはどうやって推定したらいいの？ということです。本来はセンサ特性を考えて見積もったほうがいいのでしょうが[4]、画像解析上、空間方向の近傍ピクセルとの差分データの分散共分散行列で代用することが多いようです。近傍ピクセルからのシグナルは類似の値を示すと考えられるので、そこからのばらつきはセンサ特性その他もろもろの理由によるランダムなノイズだろう、という発想です。

さて、 (1) 式の両辺に左からqTをかけるとqTΣNq=λとなりますので、固有値はそのMNF軸におけるノイズ比を示します。ということでMNF変換をすると、ノイズ比が大きい成分から小さい成分まで順に求めることができます。ノイズ比が大きいMNF成分を除去してから逆変換することで、元のデータ系列からノイズを除去する、みたいな使い方がされるようです。

以上が「PCAみたいにやってけば解けるよ！」の内実でした。あとは実装あるのみです。

[1] 「ノイズ比が最小となる軸を探す」としてminimum noise fraction (MNF) と言われることもありますが同じことです。固有値を昇順に並べるか降順に並べるかの違いですね。

[2] 「ノイズ比を最大化」の代わりに、signal-to-noise ratio (S/N比)を最大化すると説明されることもありますがそれも本質的には同じことです。S/N比はqTΣSq/qTΣNqと書けますが、ΣS=Σ-ΣNなので、qTΣq/qTΣNq - 1を最大化すればよいことになり、けっきょくqTΣNq/qTΣqを最小化すればよいことになり、[1]と同じことになります。

[3] 元論文では(3)式を転置し、ΣNΣ-1の「左固有ベクトル」がqである、という説明がされています。たまにΣNΣ-1の（右）固有ベクトルを普通に求めている実装を見かけるのですが、両者が一致するのはΣNΣ-1が対称行列であるとき（そのときΣNΣ-1 =Σ-1ΣN）だけですよね？ΣNとΣ-1それぞれは対称行列でいいと思いますが、ΣNΣ-1って必ず対称行列になるんでしょうか…クソっ線形代数力が足りない

[4] Yokoya, N., Iwasaki, A. A maximum noise fraction transform based on a sensor noise model for hyperspectral data. In proceedings of 31st Asian Conference on Remote Sensing, 2010, Nov, Vietnam.