Outlookに他人の予定表を表示させる方法を追加
波形をある時間間隔で分割すること(時間的な離散化）を標本化（サンプリング）といい、この時間間隔をサンプリング周期、その逆数をサンプリング周波数という。標本化された各時間での波形の値（振幅）を離散符号化することを量子化という。量子化により生じる元の情報源との間のひずみを量子化雑音という。
元の信号の最大周波数の倍以上のサンプリング周波数で標本化すると、元の信号は再現できる。これを標本化定理（サンプリング定理）という。このときのサンプリング周波数をナイキスト周波数という。
標本化、量子化、エントロピー、サンプリング定理、A/D変換、D/A変換
シャノンの通信システムモデルでは、
情報源→情報源符号器→通信路符号器→通信路（雑音混入）
→通信路複合器→情報源複合器→受信者
となる。
情報源を効率のよい符号に変換することを、情報源符号化という。たとえば発生確率の大きい順に短い符号を割り当てる、など。
通信路に送り出すための符号化を通信路符号化という。たとえば雑音で誤った情報を受け取る確率を低くするような符号を割り当てる、など。
ある時刻の事象の生起する確率が直前の事象のみに依存するとき、単純マルコフ過程という。Ｍ回前までの事象に依存するとき、Ｍ重マルコフ過程という。
情報源とは、生起確率分布が与えられた情報源記号の集合といえる。情報源記号がM個のとき、M元情報源ともいう。
生起確率Ｐの情報源記号を受け取ったときの情報量を
Ｉ＝－log２P
と定義する。単位はビット。
各情報源記号の生起確率がｐiである情報源Sのエントロピー（平均情報量）の定義。
H＝－Σpi・log2pi
エントロピーは平均情報量と同時に情報源のあいまいさも表している。エントロピーの最大値はlog2Mで、生起確率がすべて等確率(pi/M）のとき。最小値は０で、一つの事象だけの確率が１でそれ以外は０のとき。エントロピーが大きいほど生起する情報源記号の予測が難しい。
最大値に対するエントロピーの割合が小さいほどむだが多い。冗長度の定義。
ｒ（S)＝１－H(S)/log2M
符号を構成する記号の集合を符号アルファベット、その構成要素を元または要素という。元の数がｑの符号をｑ元符号という。
各情報源の符号長と生起確率の積の総和を平均符号長という。
L=Σpiτi
平均符号長の小さいほど効率のよい符号化である。
符号系列が一意に情報源記号に複合できるとき、一意復号可能な符号という。
符号語系列を受け取ったときただちに復号できる符号を瞬時符号という。先読みしないと復号できない符号を非瞬時符号という。符号の木において、すべての符号語が葉になっていることが、一意複合可能な符号が瞬時符号であるための必要十分条件である。
情報源記号系列をいくつかまとめて符号化するための符号をブロック符号という。元の情報源記号をまとめて新しい情報源記号としてできる情報源を拡大情報源という。ｎ個の情報源記号をまとめたものを、ｎ次の拡大情報源という。そのエントロピーは、
H(Sn)＝nH(S)
M元情報源に対するｑ元符号が瞬時符合となるための必要十分条件は、クラフトの不等式がなりたつことである。効率のよい符号化とは瞬時符号で平均符号長が短い符号を用いること。
M元情報源Sとｑ元瞬時符号を考えると、エントロピーS、平均符号長Lとの間に、
L>=H(S)/log2q
が成り立つ。右辺が平均符号長の最小値で、これが成り立つのは、ｑのーτ乗（τは符号語の長さ）の総和が１で、それが生起確率に等しいとき。また、
L＜H(S)/log2q＋１
が成り立つ。
情報源Sに対し、次式の条件を満たす平均符号長をもつ２元瞬時符号が作れる。
H(S)<=L＜H(S)＋ε
これを情報源符号化定理という。
各情報源記号の生起確率がわかっている場合に平均符号長が最小になる符号をハフマン符号という。符号の木を作ればハフマン符号が作れる。同様に復号もできる。
複数の記号をまとめた記号を情報源ブロックといい、それに対するハフマン符号をブロック化ハフマン符号という。
連続する同じ記号の長さを利用する符合をランレングス符号という。白と黒の領域が連続するファクシミリなどで使う。
情報源記号系列をランレングスでブロック化し、その長さを固定長で符号化したものを固定長ランレングス符号と呼ぶ。しかし可変長の方が効率よい。
情報源ブロックと数値を対応させた符号に算術符合がある。
情報源の生起確率などの統計情報を使わない符合を総称してユニバーサル符号という。
ZL符号はユニバーサル符号の一つ。
情報源X,Yの結合エントロピーを次式で定義する。
H(X,Y)＝－ΣΣP(xi,yi)・log2P(xi,yi)
条件付情報量の定義。YがTであるという条件でXがiのとき得られる情報量。
I(X=i|Y=T)＝－log2P(X=i|Y=T)
条件付エントロピーの定義
H(X|Y)＝－ΣΣP(yi)P(xi|yi)・log2P(xi|yi)
結合エントロピーと条件付エントロピーの関係。
H（X,Y)＝H(Y)＋H(X|Y)
相互情報量の定義。Xから得られるYの情報量のこと。
I(X;Y)＝H(X)－H(X|Y)
生起確率がマルコフ過程として考えられる情報源をマルコフ情報源という。
マルコフ情報源から生じる確率過程の時間平均と集合平均が等しい場合、エルゴード性を有するという。エルゴード性マルコフ情報源では、時間が十分に経過すれば初期状態にかかわらずそれぞれの状態に存在する確率が一定になる。この確率を定常確率という。
情報源符号化が効率の向上を目的としたのに対し、通信路符号化は信頼性向上を目的とする。
送信記号xiが受信記号yiになる条件付確率を
pij＝P(Y=yi|X=xi)
と表す。pijをすべての(i,j)について表した行列を通信路行列という。
誤りがまったく生じない通信路であれば、受信記号と送信記号の間にあいまいさはなく、すなわち条件付エントロピーは０であり、相互情報量は送信側の情報量に等しい。
相互情報量の最大値を通信路容量という。
C＝maxI(X;Y)
雑音により０が１、１が０に誤る確率が対称であるとき２元対称通信路（BSC)という。
雑音により０または１が消失してEとなるモデルを２元消失通信路（BEC)という。
一つの送信記号を用いて通信路に送り出すことができる情報量を情報速度という。
R＝log2M/ｎ
Mは通信路符号器から出力される符号語の数、ｎは符号語の長さ。
受信側における誤りを少なくするための条件は、情報速度Rが通信容量Cよりも小さいことである。これを通信路符号化定理という。
誤り検出、訂正符号の構成手法、その評価に関する理論を符号理論という。
情報源記号と区別するため、通信路符号器に入力となる記号（情報源符号化された記号）を情報記号という。
ハミング距離とは二つの符号語間の距離を表す数値のひとつ。
ｄ（ｘ、ｙ）＝Σxi＠yi
ここで＠は排他的論理和を表す。二つの符号語の異なるビット数を表す。
誤り訂正符号、ハミング符号、巡回符号
ハフマン符号、ランレングス符号、通信路符号化定理
画像符号化、情報圧縮
マルコフモデル
標本化（サンプリング）。時間的に離散化。ナイキスト標本化定理とナイキスト周波数。
量子化。振幅を離散化。
信号が時間をパラメータとするとき、時間領域、周波数をパラメータとするとき、周波数領域の表現という。
A-D変換とD-A変換。
ｚ変換。時間領域から周波数領域への変換。
畳み込み。
高い周波数だけを通す回路を高域通過フィルタという。その逆が低域通過フィルタ。
信号が減衰しないで通過する領域を通過域という。3dB以上落ちる周波数を遮断周波数という。
フィルタには、楕円形フィルタなどがある。
ディジタルフィルタには、有限長インパルス応答（FIR)フィルタ、無限長インパルス応答（IIR)フィルタがある。
時間領域から周波数領域へ変換。離散フーリエ変換など。
符号化。
パルス符号変調。
差分パルス符号変調。
ボコーダ。
画像符号化