情報とエントロピー／梅棹忠夫さんを悼む（１２）

湯川秀樹さんと梅棹忠夫さんの対談において、次のようなことが議論されている。

情報が集積されるということは、エントロピーが減ることであるが、それはわれわれが使うような広い意味の情報とどういう関係にあるか。
情報理論やサイバネティックスなどの数学的アプローチからきた情報の扱い方は、情報の持っている一つの形式を抽象化して体系づけたものであって、普通の意味でいっている情報の性質、非常にたくさんのいろんな性質を落としているのではないか。

どういうことかいささか分かり難いので、情報理論における情報量の概念についてレビューしてみよう。

情報量（じょうほうりょう、エントロピーとも）は、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。
頻繁に起こるできごと（たとえば「犬が人を噛む」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごと（たとえば「人が犬を噛む」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。
WIKIPEDIA：100614最終更新

情報量に関して、競馬の予想を例に解説しているサイトがあったので参考にしよう。
http://szksrv.isc.chubu.ac.jp/entropy/entropy3.html

ニュース等における衝撃度は何で決まるか？
一般に、「確率が非常に小さいようなことが起きた場合、衝撃度が大きい」と考えられる。

確率Pから衝撃度Sを計算してみたいが、その計算式はどういうものがいいだろうか？
１）確率１の出来事が起きた場合、まったく当たり前のことが起きたので、衝撃度は0である。
２）確率が非常に小さな出来事が起きた場合、衝撃度は大きくなる。
３）確率P₁の出来事と確率P₂の出来事が同時に起きる確率はP₁×P₂であるが、このとき衝撃度は確率P₁の出来事の衝撃度と、確率P₂の出来事の衝撃度の和となるとしよう。
このような条件を満たす関数として次式を考える。

衝撃度のことを、自己情報量という。

競馬の例で考えてみる。
過去の実績から、ある程度、出走馬の情報があり、勝つ確率がわかっているとする。

衝撃度の大きい事象は、確率率が小さいので、あまりおこらない。

そこで、衝撃度の期待値というものを考えてみる。
 
アキウララは勝つ確率が小さいので、これが勝ったときの衝撃度(-log p)は大きい。
しかし確率が小さいため、-p log pにすると小さくなってしまうことがわかる。
したがって、衝撃度の期待値は
0.29+0.43+0.5+0.5=1.72
この衝撃度の期待値が、情報エントロピーである。

情報エントロピーの性質を調べてみよう。
例１：１頭が圧倒的に強い場合

情報エントロピー（期待値）は0.07+0.07+0.07+0.04=0.25

例２：１頭が圧倒的に弱い場合
 
情報エントロピー（期待値）は0.07+0.53+0.53+0.53=1.66

例３：実力が同じ場合

情報エントロピー（期待値）は0.5+0.5+0.5+0.5=2.0

この場合、情報エントロピー（衝撃度の期待値）が一番大きいのは「実力が等しいとき」で2.0ビット、一番小さいのは「1頭が圧倒的に強いとき」で0.25ビットである。
衝撃的なことが起きる方がレースは盛り上がるので、情報エントロピーはレースの盛り上がり方の指標となる。
１頭が圧倒的に強いとそれが勝つことがほぼ決まりなので、レースとしてはあまり面白くないし、実力が等しいとどれが勝つかわからないのでレースが盛り上がる。
したがって、情報エントロピーが大きいほど、面白いレースになるというのは計算結果とよくあっている。

もし、出走馬に関する情報が事前に何もわかっていないと、どの馬が勝つかは「等確率」と考えざるを得ない。
しかし、「この馬はまず勝てない」とか「この馬は本命」といった情報がもたらされると、各馬が勝つ確率が等確率からずれていく。
そして、等確率からずれていくことで情報エントロピーが小さくなっていく。
つまり、情報エントロピーはレースの予想のしやすさの指針、事前にわかっている情報がどれくらいあるのかという指針である。
「情報エントロピーが大きい」とは「結果の予想が難しい」という意味であり、「十分な情報が与えられていない」ということを表している。
逆に「情報エントロピーが小さい」とは「結果の予想が易しい」という意味で、「十分な情報が与えられている」ということを表している。