工业革命以后,书籍等以文字为载体的知识大约每十年可以翻一番;1970年以后,知识大约每三年就可以翻一番;如今,全球信息总量每两年就可以翻一番;2010年互联网的数据量,比之前所有年份的总和还要多。
从技术角度讲,半个世纪的信息技术主要解决的是“结构性”数据的存储、处理与应用,这就好比你到银行去存取款,银行的计算机系统记录着你的名字,在名字之后是你存取款的数量、时间、类型等信息。这类数据逻辑性强,前后有必然的因果联系。
而在当今企业中,80%的数据都是非结构性数据,且每年都以60%的速度增长,具有突发性。如某一时刻的交通堵塞、天气状态、一个社会事件产生的互联网数据(微博、图片、文章、音乐、视频)等,它的特征是随时、海量、弹性,不可控。
调查显示,到2020年,全球数据使用量预计将暴增44倍,达到35.2ZB(1ZB=10亿TB)。大数据颠覆了传统的IT世界,挑战着企业的存储架构、数据中心的基础设施,数据仓库、数据挖掘、商业智能、云计算等各个应用环节。
以投资Facebook而著名的风险投资机构AccelPartners表示:“大数据是信息技术未来发展的战略走向,将催生下一代价值数万亿美元的软件企业。”
沃尔玛是最早通过利用大数据而受益的企业之一,一度拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,并创造了“啤酒与尿布”的经典商业案例。早在2007年,沃尔玛就建立了一个超大的数据中心,其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出,沃尔玛的数据量已经是美国国会图书馆的167倍。
数据正在成为从工业经济向知识经济转变的重要特征,成为新时代最关键的生产要素和产品形态。在大规模生产、分享、应用数据的时代,从日志、微博、分享照片、传送视频,多种格式的数据实时、不断地更新,我们每个人都成为了数据的创造者和使用者。
云计算和大数据最大的不同在于:云计算是你在做的事情,而大数据是你拥有的东西。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具,而通过对大数据分析、预测会使得决策更为精准,两者相得益彰。
此外,大数据为云计算大规模与分布式的计算能力提供了应用的空间,解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步,市场机会前所未有