2013年7月11-12日,2013 IBM技术峰会在北京国家会议中心召开, 牛津大学教授、畅销书《大数据时代》作者Victor Mayer-Schonberger博士出席大会,他指出,在新的商业时代,有着全新的成功与失败的要素。在这样的时代之下,无论是业务领导还是IT从业者,都需要迎合“新智时代”,重新对技术投资的优先级进行重新排序,从而释放企业与个人的全部潜能,实现持续的创新与成长。
牛津大学教授、畅销书《大数据时代》作者Victor Mayer-Schonberger博士
Schonberger博士先给大家讲一个故事,这个故事的主角是Oren Etzioni先生,他是一位大数据的科学家,其创建了好几家大数据企业,其中最为有名的是Decide.com网站,该网站能监测400万种消费品的价格,使用超过250亿种数据,从而帮用户分析出什么时候最适合购买照相机。该公司77%的预测结果都是准确的,一般为每个产品节省100美元。Decide.com对于价格为什么变化并不关注,其关注的重点是大数据的分析可以为客户节约大量的钱。
这就是所谓的大数据技术。从1993-2003年花了十年的时间才第一次完成人类基因测序,而今天人们只要花2-3天的时间,在2000美元的实验室里就能做到同样的事情。这就意味着现在测序的不仅仅是一个人类的基因组,而是所有人的基因组。
大数据三大特点:全体性、混杂性和相关性
1987年,在全世界大概有26亿个数据点,大多都是模拟数据,到2007年已经增长了100倍,而且还在继续增长,更重要的是模拟数据的数量在2000年的时候达到了巅峰。而数字数据在2000年的时候,世界上3/4的信息还是模拟数据的形式,而今天它已经不到2%了。所以可以理解,人们看到的数据就是现在数据点的数量之和,而且还会更多。Schonberger博士认为大数据有三个主要的特点:全体性、混杂性和相关性。
首先,全体性,既收集和分析更多的数据。如果人们研究的现象只有6000个数据点,抓住6000个数据点就是大数据,因为它抓住了所有数据。通过这种方式人们可以看到之前随机抽样给不了的细节,而且大数据带来的速度可以用IBM Jase的话来描述:它带给人们一种洞察力,这种洞察力人们从来没有过。
其次,混杂性和相关性。在小数据时代人们总试图收集一些非常干净的、高质量的数据。可是大数据不必追求精确性,人们可能会满足于某种大的方向,而不是现象的点滴细节。当人们在宏观上失去了精确性,却可以在微观上获得准确性,因为更加混杂,相互加强作用带来了第三个巨大的转变:从因果关系转向相关关系。
举个例子说明一下,在50年代美国国防部花了几百万美元去创造一个计算机程序,将俄语翻译成英语。他们是要教会计算机200种英、俄语法规则。而研究者认为他们会在1960年代完成这个任务,但在1962年就失败了,因为语言太复杂了,他们根本没有办法用200种规则把它归纳。一直到1980年代我们才找到了一些希望,其实这个希望就是有着不同想法的公司的出现——IBM。想法就是建立起两个非常大的语言库,让计算机自己找到统计的可能性或者概率,一种语言翻译成另外一种语言的概率是多少,再考虑到它的语境。他们在这个实验里用英语和法语翻译了加拿大议会的辩论,他们把所有这些语料都给计算机,然后让计算机做统计。所以在整个90年代这个项目取得了非常大的进步,机器翻译变得可行,而此时IBM的数据并不够大。15年、20年之后,谷歌公司采用了和IBM相同的设计理念,现在它已经为全世界提供了非常大的搜索引擎,现在人们完全可以用机器来翻译15种语言,还可以通过中介语来翻译多种语种,这也是基于相关关系的。
无处不在的数据化
当人们数据化这个世界的时候,可以使用流程把数据进行存储、分析,能够从中获得价值。以图书馆为例,老式的图书数据化方法是进行扫描,获得这些图书的图像,但是这种方式并不能让获得很多的数据。人们可以将最终的文本数字化,基于这些数据进行分析。比如一个药物,对它的副作用进行分析,不需要实际病人的情况,只需要在网上看医生输入的关键词就能知道。地点同样也可以被数据化,因为地点有经纬度、有GPS、有卫星数据提供确切的位置,GPS接收器并不处理它得到的数据,如果把GPS接收器和电脑、智能手机结合起来,人们就能够分析GPS接收的数据。
大数据生态系统
很多时候发现消耗电能的数据会产生一些数据流,而且有非常大的潜在价值。当人们进行数据化的时候可以把它转化成别的东西,所以现在已经有一个非常大的数据——大数据生态系统,他们会形成一个大数据的价值链,有三个方面的内容:有技术的企业,有思维的企业,有数据的企业。大数据需要技术,技术可以在一家IT公司或者咨询公司里找到,另外需要工作工具,他们需要知道如何去组织。另外需要有大数据思维的公司,有一些非常具有想象力的人可以利用数据做很多事情。这不仅仅关乎到创新或者企业家精神,而是关系到世界的想法。拥有数据的公司,通常情况下是大公司,比如新浪、百度、Facebook、谷歌,还有很多大的零售连锁企业,市政公司,金融服务公司,这些公司都有很多数据,而且他们并没有意识到这些数据的价值,只有从数据当中找到价值才能将自己转型成为大数据公司。
如何在这个大数据时代占有一席之地
Schonberger博士认为,在这个大数据时代需要知道两点,第一,技术或者规模并不意味着成功。20年前如果你有上十万的服务器,像亚马逊、谷歌需要这么多服务器才能做搜索的服务,可是现在,在大数据时代里这些新公司因为云服务,IBM云架构,也可以迅速赶上上十亿的数据点,它们可以集体在Decide.com这个公司里进行分析,在Decide.com里有上十亿的客户,而这个公司其实只有30个员工,没有实体的服务器。所以在大数据的企业家里,不管是大公司还是小公司,只要有创意就有可能成功。这些公司有两种选择,要么变得规模庞大,要么就是变成有创新精神的小公司,而且是敏捷的架构。
第二,为了在大数据时代有立足之地需要强有力的工具——好的数据分析架构。这些分析软件可以帮人们获得洞察力,比如IBM的分析产品,它可以带来很多智能分析。几年前谷歌选用蓝色作为搜索窗口色彩,所以蓝色最适合谷歌。然而谷歌的老板却不这么认为,因为实际上有51种蓝色,设计师需要从中分析大量的数据来找到合适的蓝色,如果重新从51个蓝色中选择一个,那么这个设计师可能就得辞职了。在这51种蓝色中他发现最好的色泽与最初选择的蓝色是不一样的,但当他们用裸眼比较时根本看不出如此微妙的区别。当你用大数据测试分析的时候,你会发现一种能让谷歌损失200-300亿收入的蓝色,因为其它蓝色更有诱惑力。这就是大数据的力量,也就是拥有了大数据思维的力量。
大数据带来的时代机遇
如果数据对于经济成功很重要,政府也希望发掘数据的财富。政府提供一些基础设施给企业和社会,街道、铁路、电网、排水系统等等,这都是经济发展的基础。在美国,联邦政府为私有部门和社会免费提供50多万种数据,很多欧洲国家也仿效此法。还有像国际组织,比如世行,因为他们认为数据分析是推动经济发展的一种方式,也给人们发展提供动力。在过去30年里我们看到了在制造业的转型,从西方到东方,经济发展的源泉来自亚洲,在美国导致很多人失业,所以奥巴马总统就给苹果公司加了很大压力,要把很多制造基地转回美国,Schonberger博士认为这在政治上是正确的,但并不是明智之举。因为在大数据时代真正的利益来自于数据而不是制造。所以,如果一个国家能够在大数据时代生存和繁荣下来,它一定会成功。未来的竞争优势、成功源泉将会是来自于数据,而大多数国家只是刚刚进入大数据时代。但是谁会成功,谁会失败还不知道。