Gartner张瑾：大数据混沌不请，却又无所不能

我们看到的大数据，远没有听到的那么清晰。我们听到的大数据似乎无所不能，但我们看到的大数据似乎又混沌不清。

大数据的三“V”特征

Gartner数据中心首席分析师张瑾长期关注大数据产业发展，其认为，现阶段大数据呈现出三“V”特点：

其一，Volume，数据海量化。过去两年中所产生的数据量占到人类有史以来所积累的数据总量的90%，现在每秒钟有500万笔交易发生，每天有5亿个通话记录产生。

其二，VelocITy，分析实时性。越来越多的用户认为，大数据还不够快，这里所指的大数据速度，并不是传输速度，而是分析处理速度。张瑾认为，数据从挖掘，到分析，再到产生支持决策的结果，这个过程还是略显缓慢。之前的数据挖掘，大多是基于对历史数据的分析，找到趋势，并预测未来，但现在越来越多的用户更在乎数据的实时分析。“但实时大数据分析，要达到传统趋势性分析同样的水平，还要经历一个过程，一个数学分析模型建立的过程。当针对所有突发性事件都已积累起分析模型时，其效率自然将得到提升。”

其三，Variety，数据多样性。一方面数据结构趋于多样性，以微信为例，无法预知被分析数据是文本，还是语音、或是图片、视频，但可以肯定的是，非结构性数据所占比例越来越高。另一方面，数据来源多样性，传统数据分析，被分析数据来自企业自身，所有权没有任何疑议，但目前被分析数据可能来自多个渠道，也许是微博、微信，也可能是淘宝中的交易数据。数据来源多样性可能产生一系列问题，例如是否侵权，或对原有道德标准也会形成挑战等。

产业链待完善

综上所述，大数据似乎相当清晰，必须符合三“V”特征，但实际情况是，现代诸多IT厂商提出了诸多大数据产品，其中既有基于Hadoop平台的开源解决方案，也有SAP、甲骨文推出的大数据一体机，“我们甚至不能将所有解决方案进行分类，因为大多数方案还没有实现市场化。” 张瑾说：“市场中可能出现各种各样的解决方案，他们声称可以解决各种各样的问题，但实际上市场仍处于混沌状态，用户不清楚自己的问题，也不清楚大数据究竟能解决哪些问题。甚至用户已经知道可以应用何种技术解决大数据问题，但找不到供应商，以及合适的软件版本。即使以上问题，都能得到解决，用户也找不到合适的服务商，提供合适的数学分析模型，提供产品集成，用户自己也没有人才储备，维护系统正常运转。”

可以看出，在大数据产业链中几乎每个环节都有缺失。大数据在互联网公司的应用已经证明了其在技术上的价值，但大数据的生态系统面临的问题是，如何将一个开源的技术，转化为一套能够创造价值的解决方案。

挑战一：最流行的大数据技术大多基于开源软件，开源技术首先考虑的是产品是否够“酷”，而不是产品是否有足够的商用化程度，甚至可以说，有些产品并不完全符合商用标准。例如安全性，Hadoop的安全性设计就相当简单，从任何角度考量，都不符合商用标准。因此，用户在接受开源技术方面总是心有余悸，但也要看到，现在越来越多的IT巨头企业，例如英特尔的介入，必将加入大数据商业化进程。

挑战二，服务商缺乏。要将开源的产品转变成能够落地的解决方案，一方面是产品本身的定制化，另一方面是将产品集成为解决方案。以传统产业链来看，此部分工作应该由集成商完成，但目前，在大数据领域，还没有集成商能完全胜任类似的工作。

“现在市场中所谓的大数据产品，只是获多或少地具有大数据某一方面的特征。当然，在一个解决方案中，用户也不一定要求一个产品具备所有大数据特征，例如，在股票买卖系统中，用户的首要诉求是处理速度快，而不是对海量信息的存储。这就要求集成商在了解产品的同时了解用户需求，但实际情况是，我们不缺乏产品，而是缺乏能将产品组合成解决方案的集成商，也缺乏能将优秀产品应用到最合适的应用场景的集成商。” 张瑾还指出：“大数据更关键一环是搭建数学分析模型，这项工作由谁来完成，是用户、厂商，还是集成商，似乎现在还没有定论，能做此工作的公司还是凤毛麟角凤。”

赚钱的大数据

想了解大数据产业链的完善程度，可以进行一个有意思的对比，张瑾认为，大数据目前的状态相当于三年前的云计算水平。目前业内对大数据的炒作甚至要超出当年的云计算。

从推动大数据发展的动力看，大数据与云计算也有明显的差异，云计算的推进是自下而上，由CIO推动，最终需要CEO拍板执行，而大数据是自上而下，首先关注大数据的企业CEO。因为云计算可以帮助CIO省钱，而大数据是告诉CEO如何赚钱。

正因如此，大数据的推进可能就具有更多的盲目性，或说缺少系统的规划。“用户不确定衡量大数据项目成功的标准是什么?甚至有些项目还停留在尽力而为的程度。”张瑾认为：“中国最成功的大数据应用一定首先出现在金融、电信、互联网。” 金融企业可以根据用户在商城中的第一笔消费，而迅速推送周边商户的促销打折信息，而运营商企业可以根据用户的通话和上网流量数据，推送最适合的套餐组合。

但实际情况是，国内成功的大数据案例还屈指可数。曾经有一个著名的失败案例，国内某知名电器销售企业CEO对大数据相当感兴趣，内部强力推动，CIO邀请诸多IT厂商前来应标，需求只有一个——“我们要上大数据，但具体方案由你们提。”类似如此，需求不明确的项目，失败本应就在情理之中。 “大数据有可能是一个5万元的项目，也可能是一个5亿元的项目，成功的大数据项目必须有明确的建设目标，并且用户需有将目标逐一进行分解的能力。” 张瑾说。

购逻辑的改变

还有一点需要注意，在传统IT系统建设中，只要用户能提出明确的需求，自然有人来应标，但在“大数据”系统建设中，用户必须自己充当自己的集成商，其采购逻辑在改变。用户也希望有方案商来协助他来完成这项工作，但问题是没有。

国内传统方案商大多经历了从产品代理，到系统集成，再到解决方案提供的发展过程，因此他们的知识基础多是来源于厂商，他们熟悉IBM的服务器、甲骨文的数据库、思科的网络设备，对IT厂商的技术亦步亦趋，而系统建设流程也是，用户听集成商“忽悠”，集成商听厂商“忽悠“。

但SDN的出现，可能会使CCIE文凭变得一文不值。同样，大数据的出现，方案商也必须更加关注开源系统，到2016年，至少50%的中国大型企业将部署Hadoop平台，在开源系统方面，没人会教你，没人会给你免费培训，方案商的业务实施能力和竞争力，完全取决于其自我的学习能力。

也就是说，未来可能会出现这样一类方案商，完全不依附于某一厂商，甚至他们与IT厂商之间会形成竞争关系，因为他们为用户提供基于开源系统的解决方案。而一旦此类方案商形成竞争力，硬件设备的品牌似乎也不那么重要，白牌机的生意也许会更好。

“当然，企业采购模式也将出现改变，开源软件能否进入企业采购名录，而且企业对开源软件是否有足够的容忍度，是否能够允许小范围的失败。”还有一点需求注意，既然越来越多的项目开始基于开源软件平台，因此企业的IT人才结构也将发生改变，“CIO们将会需要越来越多的掌握Hadoop、OpenStack技术的人才，而IT工程师不能只懂得IBM、思科。”同时，张瑾说：“当然，企业也可以不必自己做人才储备，而可以通过云服务模式租用大数据服务，美国亚马逊已经开始提供类似服务。”