袁绍龙 发表于:14年12月16日 14:00 [原创] DOIT.com.cn
大数据,被认为是继云计算之后,IT领域的又一大浪潮。对于各大IT厂商而言,布局大数据意味着在未来的竞争中占据主动。这点连芯片厂商英特尔也不例外,在花费巨资入股大数据领导厂商Cloudera之后,英特尔公司携手Cloudera共同亮相中国市场,希望通过联合两家公司的优势,共同开拓中国市场,为中国用户提供最好的大数据解决方案。
英特尔吴甘沙:让大数据说人话
作为芯片厂商,英特尔公司对于大数据有着前所未有的重视。在英特尔看来,大数据需要强大的计算能力和开放的架构平台来支撑,英特尔的目标就是让大数据的应用能够尽快走向平民化。“要让大数据说人话,让数据工具与跟我们的人、终端实现天人合一。” 英特尔中国研究院院长吴甘沙表示道。
在英特尔看来,大数据的发展也符合摩尔定律,指数级的增长会带来一系列的连锁效应,而大数据将会是当前指数社会的蛋白质,在将来会成为社会的物质基础。吴甘沙表示道:“有人说大数据是新的原材料,有人说大数据是新的原油,有人说大数据是新的资产,甚至是新的货币。这些比喻都反应出数据光大没有用,而是需要挖掘出它们的价值。数据洪流带来的挑战首先是思维的改变,我们需要用数据全集的完备性去替代过去的数据采样,这样我们可以避免小概率事件被过滤;第二,数据价值和寿命成反比,当数据刚刚产生时,价值往往是最大的,所以数据的实时分析以及和历史结合会是大数据又一大挑战;第三就是算法,传统算法往往会把小概率事件过滤掉,现在要我们用分期算法去权衡精确性和可扩展性。”
图一:英特尔中国研究院院长吴甘沙。
在商业社会发展到今年,数据洪流所带来的效应正在日益显现,对于数据价值的挖掘已经不仅仅是某些特殊行业、特殊公司的“专利”,如何应对数据洪流、如何利用数据洪流、如何利用数据技术来推动业务必然会成为现在以及将来所有企业需要面临的挑战。英特尔的大数据平民化观点就是在这种趋势下产生。吴甘沙表示:“大数据应用的平民化就是指要降低数据分析的门槛,把高级的数据分析功能平民化,使得它能够迈入主流的应用,使得它能够实现规模的经济效应。”
英特尔针对大数据的策略就是提供强大的且能够进行软件定义的计算力,并在此基础上携手尽可能多的合作伙伴,打造出一个开放的,激励创新的大数据平台。“我们提出了大数据的分析框架,在最底层的是我们的开放架构基础设施,而且是可以实现软件定义计算、存储和网络的基础设施,我们把它们做成开放式的构建模块,使得整个行业进入大数据创新领域的门槛得以降低,让更多的创新者能够一起参与,一起构建标范性的解决方案,再把它变成可扩展的参考架构,使其能够被复制到每一个行业,每一家企业中去。”
英特尔还介绍了其大数据研究方面的布局,通过与世界领先大学紧密合作,加快大数据研究到应用的转变过程。据悉,英特尔目前跟卡内基梅隆、MIT、斯坦福等大学进行紧密合作,研究方向包括Spark、Graphlab、开源列式数据库、Datahub、复杂分析算法、机器深度学习等大数据领域。
Hadoop之父Doug:与英特尔合作提供更多大数据工具
Hadoop之父、Apache Hadoop社区的发起者和领导者,现任Cloudera公司首席架构师的Doug Cutting作为大数据领域的意见领袖,认为大数据在根本性改变社会,现在需要将所有数据考虑在其中,随着越来越多人开始认识到大数据的价值,并且开始采用大数据工具,英特尔与Cloudera可以提供更多的大数据工具给用户,以弥补用户在项目中间的空缺。
图二:Hadoop之父、Apache Hadoop社区的发起者和领导者,现任Cloudera公司首席架构师的Doug Cutting
Doug Cutting表示:“手腕设备、机器、各种传感器、摄像头等等,使用计算能力的这些设备无处不在、无所不在。这种趋势会持续下去,越来越多的设备他们需要使用计算能力,同时产生更多的数据。数据是有价值的,了解到底这些设备处理什么样的业务,能够帮助完成什么工作,如果把数据收集起来,还可以把数据进行整合,然后就可以创造出来一个高清晰度的图像,企业的业务到底是怎么样进行的,这可以帮助我们的企业进一步改善和优化流程,扩展发展。”
Doug Cutting还表示2006年他加入雅虎后开始Hadoop项目的早期研发时,就与英特尔开展了合作:“英特尔给我了我们一些技术支持,再经过我们不断的尝试和试验,才获得了一些颠覆式的进展,重大的突破。”
据悉,随着今年3月份英特尔斥资7.4亿美元投资Cloudera,英特尔与Cloudera之间的合作就会更加紧密。也让Doug Cutting在推动Cloudera公司及Apache Hadoop开源社区的技术创新上,能持续得到英特尔的支持:“我们期望能通过Cloudera与英特尔的合作,来为大家开发更多的大数据工具,实现更为丰富的功能,弥补各个创新项目的空缺和彼此间的差距,让用户能够更有效地整合和利用数据,并从中获益。”
“我们两家公司三月份宣布合作后,五月份就把英特尔分发版的Hadoop中的领先技术和特性融合到了Cloudera分发版的Hadoop中,让后者能对英特尔平台实现充分优化,”Cloudera公司副总裁苗凯翔最后补充道。
Cloudera:与英特尔共同开拓中国大数据市场
据悉,Cloudera公司于今年12月初正式进入中国市场。成立于2008年的Cloudera公司在短短六年时间就获得了飞速发展,形成了全球大数据生态链,目前拥有1200多个合作伙伴,并且为全球培养了超过5万名Hadoop专家。
Cloudera公司副总裁苗凯翔表示:“从大数据角度来讲,中国市场拥有天然的环境,人口众多、终端、网络等带来的数据非常之多。大数据概念进入中国市场已经有好几年了,但是大数据在中国的商用发展滞后美国大概两年时间,尤其是部署和应用状态等方面。”
图三:Cloudera公司副总裁苗凯翔
苗凯翔表示Cloudera非常看重与英特尔的合作,他表示:“Cloudera在软件层面和应用场景上是领先的,Cloudera结合英特尔大数据底层架构非常好,两者结合是最好的搭档,能够为中国用户带来最有价值的大数据解决方案。除了技术合作外,双方还会在智慧城市、平安城市、金融、电信等领域做共同的拓展。”