情報とエントロピー/梅棹忠夫さんを悼む(12)
湯川秀樹さんと梅棹忠夫さんの対談において、次のようなことが議論されている。
情報が集積されるということは、エントロピーが減ることであるが、それはわれわれが使うような広い意味の情報とどういう関係にあるか。
情報理論やサイバネティックスなどの数学的アプローチからきた情報の扱い方は、情報の持っている一つの形式を抽象化して体系づけたものであって、普通の意味でいっている情報の性質、非常にたくさんのいろんな性質を落としているのではないか。
どういうことかいささか分かり難いので、情報理論における情報量の概念についてレビューしてみよう。
情報量(じょうほうりょう、エントロピーとも)は、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。
頻繁に起こるできごと(たとえば「犬が人を噛む」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごと(たとえば「人が犬を噛む」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。
WIKIPEDIA:100614最終更新
情報量に関して、競馬の予想を例に解説しているサイトがあったので参考にしよう。
http://szksrv.isc.chubu.ac.jp/entropy/entropy3.html
ニュース等における衝撃度は何で決まるか?
一般に、「確率が非常に小さいようなことが起きた場合、衝撃度が大きい」と考えられる。
確率Pから衝撃度Sを計算してみたいが、その計算式はどういうものがいいだろうか?
1)確率1の出来事が起きた場合、まったく当たり前のことが起きたので、衝撃度は0である。
2)確率が非常に小さな出来事が起きた場合、衝撃度は大きくなる。
3)確率P1の出来事と確率P2の出来事が同時に起きる確率はP1×P2であるが、このとき衝撃度は確率P1の出来事の衝撃度と、確率P2の出来事の衝撃度の和となるとしよう。
このような条件を満たす関数として次式を考える。
衝撃度のことを、自己情報量という。
競馬の例で考えてみる。
過去の実績から、ある程度、出走馬の情報があり、勝つ確率がわかっているとする。
衝撃度の大きい事象は、確率率が小さいので、あまりおこらない。
そこで、衝撃度の期待値というものを考えてみる。
アキウララは勝つ確率が小さいので、これが勝ったときの衝撃度(-log p)は大きい。
しかし確率が小さいため、-p log pにすると小さくなってしまうことがわかる。
したがって、衝撃度の期待値は
0.29+0.43+0.5+0.5=1.72
この衝撃度の期待値が、情報エントロピーである。
情報エントロピーの性質を調べてみよう。
例1:1頭が圧倒的に強い場合
情報エントロピー(期待値)は0.07+0.07+0.07+0.04=0.25
例2:1頭が圧倒的に弱い場合
情報エントロピー(期待値)は0.07+0.53+0.53+0.53=1.66
例3:実力が同じ場合
情報エントロピー(期待値)は0.5+0.5+0.5+0.5=2.0
この場合、情報エントロピー(衝撃度の期待値)が一番大きいのは「実力が等しいとき」で2.0ビット、一番小さいのは「1頭が圧倒的に強いとき」で0.25ビットである。
衝撃的なことが起きる方がレースは盛り上がるので、情報エントロピーはレースの盛り上がり方の指標となる。
1頭が圧倒的に強いとそれが勝つことがほぼ決まりなので、レースとしてはあまり面白くないし、実力が等しいとどれが勝つかわからないのでレースが盛り上がる。
したがって、情報エントロピーが大きいほど、面白いレースになるというのは計算結果とよくあっている。
もし、出走馬に関する情報が事前に何もわかっていないと、どの馬が勝つかは「等確率」と考えざるを得ない。
しかし、「この馬はまず勝てない」とか「この馬は本命」といった情報がもたらされると、各馬が勝つ確率が等確率からずれていく。
そして、等確率からずれていくことで情報エントロピーが小さくなっていく。
つまり、情報エントロピーはレースの予想のしやすさの指針、事前にわかっている情報がどれくらいあるのかという指針である。
「情報エントロピーが大きい」とは「結果の予想が難しい」という意味であり、「十分な情報が与えられていない」ということを表している。
逆に「情報エントロピーが小さい」とは「結果の予想が易しい」という意味で、「十分な情報が与えられている」ということを表している。
| 固定リンク
「書籍・雑誌」カテゴリの記事
- 藤井太洋『東京の子』/私撰アンソロジー(56)(2019.04.07)
- 内閣の番犬・横畠内閣法制局長官/人間の理解(24)(2019.03.13)
- 日本文学への深い愛・ドナルドキーン/追悼(138)(2019.02.24)
- 秀才かつクリエイティブ・堺屋太一/追悼(137)(2019.02.11)
- 自然と命の画家・堀文子/追悼(136)(2019.02.09)
「思考技術」カテゴリの記事
- 際立つNHKの阿諛追従/安部政権の命運(93)(2019.03.16)
- 安倍トモ百田尚樹の『日本国紀』/安部政権の命運(95)(2019.03.18)
- 平成史の汚点としての森友事件/安部政権の命運(92)(2019.03.15)
- 横畠内閣法制局長官の不遜/安部政権の命運(91)(2019.03.12)
- 安倍首相の「法の支配」認識/安部政権の命運(89)(2019.03.10)
「梅棹忠夫」カテゴリの記事
- 知的生産のスキルとセンス/知的生産の方法(106)(2014.10.22)
- 川勝平太静岡県知事の生態史観図式論/梅棹忠夫は生きている(6)(2013.08.02)
- 菅首相の退陣演説&記者会見の欺瞞と空虚(2011.08.27)
- 科学観と方法論/梅棹忠夫は生きている(5)(2011.08.16)
- 「3・11」と日本の「戦後」(2011.08.08)
この記事へのコメントは終了しました。
コメント