毒大米与死麻雀是场大数据的实践

2014-07-11 07:02

大数据越来越火的同时，不靠谱指数也在上升。马继华就这个问题举了毒大米与死麻雀的例子，就是提醒这些潜心分析大数据的人们，不要忽视了没有能力拿到或者没准备却拿到的部分，更不要在过分关注相关性同时，跳过因果论证的步骤。往往，先入为主的自以为是会导致整个数据分析的无用性。

据说，20只麻雀吃了散落的大米，死了。
先，有人说，麻雀是吃了有毒大米，中毒死的。
后来，有人说：专家认为麻雀可能是吃多了，撑死的。
再后来，有人又辟谣说：没有人说过，麻雀是撑死的。
再再后来，有人又辟谣说，大米没有毒。
再再再后来，有人又辟谣说，大米还没有卖出去，卖出去的都追回来了。
再再再再后来，有人又辟谣说，还有一部分大米没追回来，但大米确实没检测出有毒。
我们不再说后来了，因为这个故事还没有完。而且，即便被人为的确定终结，好事者也不会就此认为事情完了。
这次的毒大米与死麻雀的事件，看似传言绕来绕去，实际上却是一次典型的大数据分析的实践，从中可以看出，盲目的所谓大数据分析是多么的容易误导公众。
1.我们找到了所有的麻雀了吗?
我们不知道谁在现场数数了，可以肯定当时贪吃了大米的就是20只，如果是很多很多只，那些麻雀去哪里了，为何这些麻雀没有死?
我们做大数据分析，往往号称拿到了所有的数据，但实际上仅仅是能够拿到的那部分而已，也许恰恰是那些我们没有能力拿到或者没准备却拿到的部分，将大大影响我们最终的分析结论。当年，美国总统大选，那么有名的《文学文摘》拿到了240万的读者投票意向，最终却预测失败，相反，盖洛普凭借5000个很小的样本就预测成功，也是这个道理。
2.这20只麻雀就是那吃了大米的麻雀吗?
麻雀是否吃了大米，应该比较好检验，但是否正好是吃了这一堆大米，却有点难度。当然，如果是时间比较短，检验起来也应该可以确认。总之，我们要确认大米与麻雀之间的相关性。
大数据分析首先要确认事物之间的相关性，而且要密切相关，一对一的直接相关，如果我们仅仅是把毫不相关的或者可能有一点关联的事物放到一起分析，最终的结论可能很无聊。比如，有人连续看到中央电视台的《新闻联播》结束的时候太阳就落山了，由此得出结论，太阳落山与新闻联播结束相关。
3.麻雀之死是因为吃了大米导致的吗?
麻雀死了，这是事实;麻雀死之

余下全部

共有评论0条