ビッグデータ礼賛が見落としていること

投稿日: Nov 09, 2012 1:17:35 AM

統計屋にひざまづきたい方へ

アメリカ大統領選のオバマ勝利については、事前のマスコミによるロムニー候補追い上げとか優勢といった報道と食い違っていたという感想が多い。その典型は権威ある予測の代表であるギャラップが大きくはずれたことである。それと対照的にNew York Timesの選挙予測専門家ネイト・シルバーの数理的予測モデルが的中し、接戦州でほとんどがオバマ勝利のシミュレーションをした。しかもこのネイト・シルバーさんは選挙にかかわる前は本や映画「マネー・ボール」の大リーグ野球選手の統計的評価システムをモデルにしたPECOTAというのを開発した人であるという。このような人は世が世なら金融界に閉じこもって経済のシミュレーションをしていたのであろうが、大規模な統計処理が民間でも可能なビッグデータの時代になると、社会のいろんなところに活躍の場ができるようになる。

まずギャラップがなぜはずしたのかというのを後追いで考えると、投票に占める若者の数を少なく見積もり過ぎていたことと、当然ながら共和党寄りの人が増えているという前提でのシミュレーションであったことがズレの原因で、実際は若者の不満層はオバマ批判もあっても、ロムニー期待にはつながらなかったのである。ここには事前の対策としては２つの道があって、第1は浮動層と考えてなかなか手が出せないものだと割り切るのが従来のやり方だろう。つまり事前の票の読みの外側に置いて、もっと争点の明確なところにアプローチをする従来のザックリ型選挙戦である。

第2はそういった若者不満層にどうしたらうまくアプローチできるのかどうかを模索するもので、今回はオバマ陣営がそこもビッグデータを使ってきめ細かい戦術をたてたという話がある。オバマの支持者は都市部の価値観が多様な人々や、マイノリティなので、支持者のプロフィールはものすごく多様であるはずだ。しかしそこを小まめにデータを取り、小さいものを足し合わせるとどうなるのかというシミュレーションをしたのであろう。要するにデータによるきめ細かい選挙戦に取り組んだのが功を奏した。勝因はデータの収集と分析の結果が半分で、この分析に応じて対応を迅速に行った行動力が半分であったはずだ。

そしてネイト・シルバーのすぐれたところは、ザックリ型選挙戦で切り捨てていた細かいデータを分析したことで、そこの部分がオバマ支持になりつつあるのを捉えていたことだろう。ビッグデータを扱いやすくなったというIT環境と、そこには統計手法が重要で専門家を多く擁しなければ分析はできないこと、くらいまでは今までも十分に語られているが、オバマ陣営のような細かなデータ収集や、迅速な対応ができる行動力がなければ、データマイニングの結果は生きないのだから、そこが競争力になるだろう。

書籍「マネー・ボール」の後書きには、統計的手法を使おうとしても球団関係者の無理解というのがいかに大きかったが書かれているが、おそらく企業内でも同じようなことになるのだろう。

Articles デジタルメディアビジネスの記事 過去記事→Archive