情報とエントロピー

投稿日: 2013/09/02 9:22:52

「情報」と「エントロピー」とは，反対の関係にあります．

情報の単位はbitです．1 bitの情報というのは，0と1のどちらかの状態を同じ確率でとるものがどちらの状態を取るかを決める情報のことです．すみません，ちょっとややこしい言い方でした．状態を1つに決めるための情報の量は，とりうる等確率の状態の数の対数（ただし，底は2です）に等しくなります．

一方，エントロピーは，（ボルツマン定数）×（状態の数の対数） （ただし，対数の底はe）です．とりうるミクロ状態が1つしかない場合は第三法則によってエントロピーが0ですので，あるエントロピーを持った状態から1つのミクロ状態に決めると，（ボルツマン定数）×（状態の数の対数）の分だけのエントロピーの減少を伴います．

ですので，情報が増えるとエントロピーが減ります．対数の底の違いは単にln 2倍の違いですし，ボルツマン定数は定数ですので，情報とエントロピーとの間はマイナスの定数倍になっています．

エントロピーに温度をかけると，エネルギーの次元になります．第二法則からも明らかですが，温度を掛け率にして，エントロピーとエネルギーは交換可能です．

エントロピーは，確率そのものだ，という人もいます．温度にボルツマン定数を掛けて，それを新しく温度と定義すれば，エントロピーは確率と等しくなります．

「ネガティブエントロピー」あるいは「ネゲントロピー」という言葉を知っているでしょうか？ 生物は，ネガティブエントロピーを食って生きている，という言い方があります．もちろん，実際に食っているものは，物質の化学エネルギーや太陽からの光エネルギーです．代謝によって大量のエントロピーが出るわけですが，それを外部に放出しているというわけです．大量のエントロピーを外部に放出しながら，エネルギーの一部を情報に変えて生きているはずなのです．