Gartner:Hadoop过时,大数据泡沫将破裂

Gartner研究总监Svetlana Sicular近日在博客中发表一篇题为“大数据光环的幻灭”的文章,指出大数据正处于新技术厂商炒作周期和用户预期的顶峰(如下图),但是Hadoop的过时和用户失败案例的不断增多意味着大数据泡沫即将破裂。但另外一个不争的事实是,企业对大数据人才的追逐日趋白热化,而Ovum的报告则显示大数据厂商的社交媒体口碑极佳,用户对大数据认可度依然很高。

GartnerHypeCycle1

在Gartner研究人员与MapR、HortonWorks和Cloudera等Hadoop大数据厂商的一次座谈中,与会者趋于两点共识:MapReduce一直是Hadoop的瓶颈,而且Hadoop是“原始”的大数据技术,已经过时了。这两个观点标志着大数据的光环已经幻灭。Gartner:大数据光环幻灭

此外,Sicular与多家Hadoop用户沟通后发现,最先尝试大数据应用的企业鲜有成功案例。

企业们一开始对大数据报以极大幻想,期望值很高,仿佛得到了数字水晶球,但是他们很快发现实现可靠的大数据方案是一件非常困难的事情,例如一些尝试舆情分析的应用让企业感到失望,因为大数据厂商们无法提供成熟的方案。

此外,面对大数据的水晶球,提出正确的问题,并问题分解成众多子问题进行解答本身是企业大数据应用面临的最大挑战。其次,确定答案本身是大数据应用的另外一个难点。大数据分析面对的是不确定性(尤其是预测性分析),满足和满意是两个不同层次的境界。

虽然大数据应用案例失败居多,但是也有例外,Sicular的一位客户使用Splunk分析日志文件取得了非常理想的成果。这表明成熟的大数据工具(例如Splunk)才是现阶段企业掘金大数据最需要的。

最后,Sicular总结说,随着大数据光环的幻灭,越来越多的负面报道将接踵而来。

反方声音:社交舆情和人才行情显示大数据热度不减

虽然Gartner的分析师开始唱衰大数据,但是根据Ovum分析师Tony Baer的报告给出了相反的结论,DataSift在分析了220万条提及大数据的推文后发现,对大数据厂商做出正面评价的推文是负面评价推文数量的三倍。对于一个尚处于热炒阶段的新技术来说,大数据能获得这么高的社交用户评价非常难得。

此外,虽然Sicular调研发现很多率先尝试大数据的企业都遭遇了困难或者失败,但根据科技招聘网站Dice.com的数据统计,2012-2013年企业大数据相关人才的薪水行情却在看涨,平均高达10万美元,超过云计算/虚拟化(9万美元)和移动(8万美元)。Dice的董事总经理Alice Hill表示:“我们都听说大数据是昙花一现的炒作,但事实是数据专业人才供不应求,且身价不菲。”

总之,企业对数据科学家等数据专业人才的疯狂争夺与Sicular的调研结论并不矛盾——提出正确的问题才是企业大数据应用的最大挑战。而所谓数据科学家,就是那些能了解企业业务并能向大数据水晶球提出正确问题的人。