Significance

数式を使い精確かつ明瞭に記述

信頼できる文献等をていねいに読み込んで学び、適宜に数式を使い精確かつ簡明に記述する能力を錬磨します。

ある非負整数 k および n に対し, ある有限集合 S の k 次直積を S^k, また {0, 1} の n 次直積を {0, 1}^n により表す.  f: S^k → {0, 1}^n は S の要素からなる k 長系列を入力し n 長の二元系列を出力する符号器, g: f(S^k) (⊆{0, 1}^n ) → S^k は n  長の二元系列を入力し S の要素からなる k 長系列を出力する復号器, また符号器と復号器の対 (f, g) は符号の数学的な表現にあたる.  与えられた系列 (源系列とよばれる) を符号器を用いてなるべく短い系列 (符号語とよばれる) に変換し, 雑音のない通信路を経由して相手へ伝送し, 復号器を用いてもとの系列を復元する符号を, 源符号という.

符号器 f の入力長に対する出力長の比 n/k を, 伝送比という.  復号器 g によって再生される k 長系列が, 符号器 f に入力される元の k 長系列に一致しない確率 1 － P^k({x| x∈S^k, g(f(x))＝x}) を, 誤り確率という.  S 上の確率分布 P: P(x) (x∈S) に対し, S に属するすべての要素 x に関する －P(x) log P(x) の和 H(P) を P のエントロピーという (対数 log の底は 2).

伝送率が H(P) より小さく, かつ, 誤り確率 0 であるような源符号は存在しないことが知られている.  逆に, k → ∞ に対し誤り確率は 0 に収束しつつ伝送率は H(P) に収束するような源符号 (f, g) が存在することも知られている.  このように確率分布 P の源系列に対する伝送率の限界が H(P) であるという意味で, 源系列には情報量 H(P) が含まれていると解釈できる.