ここでは、特異学習理論について初めて出会ったかたに、日本語で紹介します。

目次はご覧の通りです。

第１パートでは、深層学習が　どのような意味で特異的であるのかを説明します。

深層学習は、階層的神経回路網、あるいは人工的ニューラルネットワークとも呼ばれ、生体の神経回路を模倣して作られた情報科学における推論・予測モデルです。図で丸いのはニューロン（神経細胞）、ニューロンとニューロンをつないでいる線は、シナプスと呼ばれています。学習によって変化するのはシナプスが情報を伝える強度（結合荷重）で、これを w と書きます。外部からの入力 x に対して深層学習の出力を f(x,w) と書きます。

これは１個のニューロン（神経細胞）の働きせを説明したものです。あるニューロンへ　別のニューロンからの信号 x1,x2,...,xM （実数）が、シナプスを通して伝わります。シナプスは信号を伝える強度（結合荷重） w1,w2,...,wM （実数）を持っています。ニューロンに集まった重み付き和 w1x1 + w2x2 + ... + wMxM に閾値 θ を加えたものを、非線形関数 σ(  ) で変換した値を出力し、その出力が別のニューロンに伝わります。関数σ( ) を活性化関数といいます。なお、生体神経回路網で実際に伝わるのは電気信号です。

活性化関数 σ( ) としてよく使われるものとして、シグモイド関数、ReLU関数、スウィッシュ関数などがあります。この他にもいろいろな関数が考案されています。

ニューロンを階層的に重ねて作られたものが、階層的神経回路網です。人工神経回路網、深層学習とも呼ばれます。用途によっては、出力が再び入力や中間層に加わるモデルが使われることもあります（リカレントネットワークといいます）が、ここでは、情報の流れが１方向だけのものに限定してお話します。

（注）1986年に発行された  

J.  L. McCLELLAND,  D.  E. RUMELHART,  and  G.  E. HINTON, 並列分散処理, MIT Press, 

には、階層的神経回路網および学習法として誤差逆伝播法が記載されていました。当時の問題意識は、このようなモデルが外界からのデータを学習したとき、内部のパラメータに外界の情報がどのように表現されているか、というものでした。実際、この本には様々なタスクに対してどのようなネットワークが形成されたかについて書かれています（ラメルハルト先生とマクレランド先生は認知心理学者です。ヒントン先生はこの分野のご研究でノーベル賞を受賞されました。）この本が出版されてすぐに、このモデルが情報工学の様々な問題において高いパフォーマンスを示すことが実験的に示され第２次ニューロブームになり、その後３転４転を経て現代の人工知能の実現に至りますが、神経回路網の内部表現を理解するという当初の課題については４０年たった現代でもほとんど研究が進展していません・・・。特異学習理論が、その困難な課題への第一歩になることを期待しています・・・。

物理学や情報学でよく使われる関数として、線形独立な(一次独立な）関数 e_k(x) の線形和があります。多層神経回路網は、これとは異なり、線形和をとって非線形変換をすることをなんども繰り返すものになっています。なぜ生体神経回路や人工神経回路では、わざわざ複雑な関数を使うのでしょうか。この二つの関数の違いを考えてみましょう。

線形独立な関数として、多項式や三角関数などを持ってくると、有界閉集合上の任意の連続関数をいくらでも一様に近似することができます。このときパラメータ{wk} と関数 f(x,w) の対応は１対１であるため、パラメータの持つ意味を解釈することができます。これは正則モデルの一例になっています。

正則モデルでは、パラメータ集合と関数空間とが１対１に対応しています。二つの関数が一致するのは、パラメータが一致するときだけです。関数からパラメータはユニークに決まるので、このような関数は特定可能（識別可能, identifiable) と呼ばれます。

階層的神経回路網でも、有界閉集合上の任意の連続関数をいくらでも一様近似することができます。しかしながら、パラメータ集合 {wk} と関数 f(x,w) の対応は１対１ではありません。また、パラメータどうしの関係が複雑になっているため、パラメータの値を見ても、そのパラメータの働きを解釈することができません。このような性質を特定不能（識別不能、nonidentifiable, unidentifiable) といいます。

第２パートでは、学習と予測の問題について考えます。

入力データn個とそれに対する教師データがn個与えられている状況を考えましょう。文字認識の例でいえば、xi は文字画像であり、yi はその文字が何かという情報です。入力 xi に対する深層学習の出力は f(xi,w) となりますので、二乗誤差 H(w) をベクトル yi-f(xi,w) のノルムの二乗和で定義します。

以下では、データ {(xi,yi)} が独立である場合を考えます。尤度関数の部分は、確率モデル p(y|x,w) を n 組のデータを用いて乗算したものとなります。

事前分布は、罰則項 L(w) を用いて exp(-L(w)) と定義されたもので、パラメータの発散が防げればなんでもかまいません（これを設計する方法もよく研究されていますが、今回はそれは考えません）。このとき、尤度関数と事前分布を用いて事後分布が定義されます。ここで Z は正規化定数ですが、学習モデルによって n 個の入力に対して n 個の出力がされる確率であり、これを周辺尤度といいます。（周辺尤度はデータが生成されている未知の分布による確率ではないです）。

正則モデルの二乗誤差が最小点付近で２次式で近似できることから、事後分布あるいは尤度関数は、正規分布で近似することができることがわかります。

これは深層学習などの特異モデルの事後分布または尤度関数の想像図です。一般に尤度関数を最大にするパラメータ（最尤推定量）は有限の範囲にはありません。また事後分布を正規分布で近似することはできません。特異点の近傍では、事後確率が大きくなりますが、特異点近傍の確率を定量的に調べることは困難でした。

この図はデータを生成している分布（未知の分布、真の分布）と、学習モデルの集合との関係を模式図で表したものです。一般にデータを生成している未知の分布はモデルの中にはありません。事後確率はデータを生成している確率とは別のもので、学習モデルを使って定義されていることに注意してください。また正則モデルと特異モデルは、学習モデルとして異なる性質をもつことにも注意してください。これらの図は、確率分布を１点とみなして、確率分布どうしの「距離」をカルバック・ライブラ情報量で定義したもので、これによって作られる幾何学は甘利俊一先生によって提案されました。これは情報幾何学と呼ばれ、統計学、情報理論、機械学習の基礎を与えるものとして知られています。

この図は、正則モデルにおいてデータが増えたときに事後分布がどうなるかを示したものです。データが少なくても多くても、事後分布は未知の分布から見て最適な点（KL情報量を最小にするパラメータ）から遠くないところにあって、データが増えるとともに事後分布の分散が小さくなっていくことがわかります。なおデータが無限に多くなっても、学習結果はデータ生成分布とは異なっています。

深層学習では、学習モデルが極めて大きいため、データがどんなに多くなっても、事後分布は、未知の分布からみて最適な点には近づきません（学習結果はデータ生成分布から離れています）。特異点の近傍は事後確率が大きく、データが増えるにつれて、複雑な特異点（関数は単純）から、シンプルな特異点（関数は複雑）に移り変わっていくことがわかります。このような現象が生じる数学的な理由は、次のパートで説明します。

第２パートでは、深層学習はパラメータ空間に特異点を持つため、データが増えるにつれて事後分布は、ある特異点の近傍から別の特異点の近傍へとジャンプを続けていくことを説明しました。

第３パートでは特異学習理論について説明します。数式が苦手なかたは、説明図を、おおよその意味をつかむ参考にしてください。

まず自由エネルギーを定義します。それは「マイナス対数周辺尤度」のことです。自由エネルギーという名称は物理学と学習理論の数学的等価性に基づいてつけられた名前ですが、ここでは物理学についての知識は必要になりませんから、名称の持つ意味にはこだわないで大丈夫です。自由エネルギーは情報理論では確率的複雑さとかベイズ符号長という名前で呼ばれるときもあります。

　　　F: 自由エネルギー　

　　　S: 未知の分布のエントロピー

　　　KL: 未知とモデルのＫＬ情報量

の間に恒等式 

 　　　F = nS + KL

が成り立ちます。

つぎに予測分布を定義します。予測分布とは、学習モデルを事後分布で平均したもののことです。これは、学習モデルを用いて未知の分布を推測したものになっています。もちろん学習モデルの予測と未知の分布が一致することはなく、その両者がどれくらい離れているかを表しているものが汎化誤差です。それぞれの定義から「汎化誤差は自由エネルギーの増分である」という恒等式を導くことができます。汎化誤差と自由エネルギーはこのように強い関係で結ばれていますが、汎化誤差が最小になることと自由エネルギーが最小になることは同じことではありません。これはパラドックスではありません。これは正則モデルの統計学において、ＡＩＣとＢＩＣではモデル選択結果が一般的には同じではないという事に対応しています。

この図は、正則モデルのデータ生成分布と学習モデルの関係を表しています。事後分布は、最適なパラメータの近傍にあり、その標準偏差が (1/n)^(1/2) であることがわかります。パラメータ次元が d であることから、パラメータについての積分を実行すると、データ生成分布と最適パラメータのKL距離H0とパラメータの次元dを用いて、周辺尤度がこの式であることを導くことができます。

周辺尤度がわかると、そこから自由エネルギーを求めることができます。ここで n は独立なデータの個数（サンプルサイズ、例題の数）であり、Sは未知の分布のエントロピーです。

自由エネルギーがわかったので、そこから汎化誤差を求めることができます。データが無限に近づくと汎化誤差は H0 に近づきます。 有限な n においては汎化誤差は n と反比例の関係にあり、その係数は (d/2) であることがわかりました。この曲線のことを学習曲線といいます。正則モデルでは学習曲線は、パラメータの次元だけで決まっているということがわかりました。

　（注）学習理論や学習曲線という用語は、もともと心理学で作られたもので、人間や動物の学習の過程を研究するものでした。その用語が人工神経回路網にも転用されるようになって現代に至っています。機械学習という言葉も起源は同じです。

ここから特異モデルについて考えていきます。まず、パラメータ集合を局所的な集合の和集合で覆います。以後では、まず局所的に問題を考えて、そのあと、大局的な場合を考えます。

局所パラメータ集合 W_k について、データ生成分布からその集合までのＫＬ距離を H_k とします。たくさんの局所パラメータ集合の事後確率をそれぞれ計算して比較してみます。

事前分布 φ(w) を局所パラメータ集合の上でだけ０でない部分を持つ局所的な事前分布 φ_k(w) の和で表すことを考えます。このような考え方を「１の分割」と呼びます。大局的な問題を局所的に調べる場合の常套手段です。

この図は、局所パラメータ集合に限定して、局所的な周辺尤度を計算することを説明するものです。特異点によって定まる値（局所的な実対数閾値）λ_k と未知の分布から特異点までのＫＬ距離 H_k を用いて、局所的な周辺尤度における積分を計算することができます。これから局所的な自由エネルギー F_k(n) を求めることができます。複雑な特異点（単純な関数）であるほど、実対数閾値 λ_k は小さくなり、H_kは大きくなります。

第４パートでは、AIアライメントと特異学習理論について紹介しました。

最後までお読みいただき、ありがとうございました。

ここでは初めて特異学習理論に出会われたかたに紹介をさせていただきました。さらに学ばれたい方は、特異学習理論（１）、（２）をごらんください（２０２３年度まで修士課程で行われていた講義です）。また深層学習の相転移については下記のものをご参照ください。

S. Watanabe, Algebraic geometrical methods for hierarchical learning machines. Neural Networks,  Vol.14, 2001, pp.1049-1060. https://doi.org/10.1016/S0893-6080(01)00069-7