想象两个场景,如果你有花生过敏症,这是个不算严重但比较麻烦的事情,我有个朋友的孩子就有这样的问题,因此他每次带孩子出来吃饭每道菜都要问:里面有花生吗?这样就回到我们的话题,如果你有花生过敏症,你在网上或者某家超市要买一些食品,不幸的是其中有一种的食品是含有花生的,这时候你如果使用信用卡支付,忽然就会被提醒支付不能顺利进行,或者直接就在交款台被提醒能够,因为需要你确认,是否你确定要购买某件产品–里面含有花生并可能对你的身体构成危害。也许你还可能是为别人购买这个产品,但只是一场可能的事故是被避免了。这个事件发生的前提,是你的个人信息、商品信息和金融支付信息就被有效的收集、关联并可以适时处理,这些都要用到大数据。第二个场景是最近一个电视剧中的,当然离我们的生活也很近,“在华尔街的一场抗议中,突然发生了爆炸。通过数据分析,从运营商那获得的爆炸现场用户通讯记录,以及在爆炸前几秒、之后几秒的运行轨迹,FBI很快定位了嫌疑人。”很熟悉吧,事实上最近发生的波士顿爆炸案,警方确定嫌疑人,也是通过现场大量的通信和视频信息,这些也都离不开大数据。
我们一般认为,数据就是未被关联的信息,信息是被标签的数据,而被关联、标签并分析的数据,就形成了知识,可以用来帮助决策和判断。伴随互联网时代,各种终端设备,尤其是移动终端甚至是可穿戴设备的普及,创造和分享数据成为我们生活的重要部分,数据变得普遍存在并随时在线流动,这也是所谓“大数据时代”来临的一个前提。另一个前提是,在创造了数据财富,正如我们创造了物质财富一样,我们还必须能够妥善地把数据储存下来:以前没有保存下来的数据,我们已经没有办法了,现在创造的数据,如果我们不把它保存下来,我们就将永远失去它了。”
数据的价值在于它的时效性、样本量,以及维度的丰富性,这就需要另外一个条件,即时的、有效的、便宜的保存数据。另外,对于保存下来的数据,我们还必须能够即时、有效的、方便地处理,这些“快速”、“方便”、“智能”都离不开另外一项技术–云计算。
我们要把数据记录和保存下来,需要无处不在的芯片,我们的智能动终端设备或者物联网传感器等,需要强大又足够便宜,方便的云端储存,进行数据采集和保存。因而,互联网,尤其是移动互联网和各种终端的发展,以及云计算的出现,是这几年大数据概念被提出并获得广泛关注的前提原因。
所谓云计算为体,大数据为用,这是硬币的两个面,没有智能IT终端的普及,云计算的强大存储和数据处理能力,也没有大数据时代的到来,或者说即便存在了大量的数据,我们也没有办法保存下来,或者进行处理,如果大数据是矿藏,再好我们也无法开采利用,甚至都没办法发现;如果大数据是海洋,我们没有足够大的舰队和远航能力去征服这片未知版图,只能望洋兴叹。
云计算为我们征服数据海洋提供了载体和动力,这也是为什么大数据概念紧接着云计算概念之后火起来的原因;大数据也使得云计算真正成为生产工具,知识矿产资源开发工具,探索人类知识未知新边疆的工具,并真正成之为新产业革命。
在对数据保存和集中存储的基础之上,还必须有将数据贡献和公开出来的机制,否则数据只是藏在仓库的矿石,或者刚被发现出来的原油,还没有被开采和加工,放在加油站供人们使用或者变成各种化工产品进入千家万户,这就需要政府制定政策,进行数据所有权和隐私权等各种数据资源的相关立法,并率先对拥有的非敏感数据进行公开,在此基础上也可以由市场自发形成数据的定价、分享和交易法则,并不断在发展中完善。
另外,作为大数据,其实我觉得这个“大”字不仅是代表数量,也不是4V所能全部概括的,不管在企业层级应用还是将来演化出一些标准化产品,以及对于QS数字化自我类似的应用,大数据的结果,是需要能够普惠到大多数,广泛多的人群,这是大数据的价值关键所在。在这个原则下,目前最需要的是大数据从概念到工具从IT领域拓展出去,大数据探讨和应用“跨界”势在必行,如果说大数据是场旋风,如果不能席卷到周边产业和更广泛的范围,那么这场风暴远远还不能说改变生活。
另外,还有啰嗦两句关于大数据的人才和技能,不能仅仅依靠一些数据工程师或数据科学家,对数据决策,数字化思维一直是中国所缺乏的,首先从理念和思维上我们要做好迎接大数据时代的准备,另外从人才培育,各行各业的大数据应用和思维,都需要我们从新变革、产业升级和知识升级角度来重视,进行培育和支持。