2013-10-10 [長年日記]
■ビッグデータの正体
仕事でHadoopを触ってたりするわりに「ビッグデータとはなんであってなんでないか」とかあまり考えたことなかった。
NHKスペシャルの震災ビッグデータとか見ても、結局ピンとこない(でもしたり顔でツイートしてました)。
仕事もまたHadoopとかに舞い戻ってきているので、いい機会ということで読んでみた。
大きな変化として3点、冒頭にまず挙げている。
1.ビッグデータは限りなくすべてのデータを扱う
2.量さえあれば精度は重要ではない
3.因果関係ではなく相関関係が重要になる
この説明が3分の1。
その様な変化を起こした人たち——そのようにビジネスモデルを変化させた人たちの話が3分の1。
残り3分の1でビッグデータのマイナス面を挙げ、ではどのようにルールを作っていくべきなのか? という話。
p31で職人的な直感が高度なデータ分析に敗北を喫した話として「マネーボール」を挙げていたがちょっと違うよね。
p53、コミュニティの調査をしたところ、あるコミュニティ内で多くの接点を持つ人がいなくなっても交流が減ることはあっても止まることはないが、コミュニティの外部に接点を持つ人がいなくなるとコミュニティが崩壊したかのような状態になる、という話が(ビッグデータとは関係ないけど)面白かった。
データセットが小さくても「ビッグデータ的」な発想でデータを扱っているならそれはビッグデータ、というくだりがあったと思うが、それが印象的。