以“掌控大数据洞悉云未来”为主题的2012中国存储峰会于12月13日在北京悠唐皇冠假日酒店召开,在下午的《大数据创新》分论坛中邀请多位业界对大数据非常有研究的人士发表对大数据时代下的存储以及数据管理等话题的看法。
英特尔公司系统方案架构师朱海峰带来了题为《英特尔大数据平台解决方案》的演讲,在演讲中,朱海峰重点讲到了英特尔Hadoop解决方案。
英特尔公司系统方案架构师朱海峰
回顾20年前的业态发展,那时候业界更关心数据,时至今日,人类活动所产生的各种信息,开始被各种信息系统记录下来,随着技术的发展,使得所有的这些信息的保存和处理成为可能。朱海峰表示,人类文明从诞生时期到2003年,所产生的数据量大概是5EB,而现在每两天人类行为产生的数据就会超过5个EB。
在2005年之前,大家关心的更多的是传统的关系型数据库和这个领域的数据处理手段,但是随着技术的发展,朱海峰说,我们把内容仓库中包容海量非结构化人类行为各种各样的数据纳入到我们信息系统当中,而这些未知的数据领域其价值如何,我们都拭目以待。
未来,这些信息可能越来越成为人类社会中一个重要的部分,朱海峰表示,这些信息被人类的信息系统记录、保存和处理,并可能对人类社会发展产生巨大的影响。所以,当前各软硬件厂商,都很关注这领域的发展。
另外,朱海峰讲到,如果从数据量、数据产生速度,数据形态多样化,单字节数据价值来看,新的数据时代的大数据相对于传统数据都有其特点。数据产生速度明显加快,手持接入设备的发展,通信、沟通、拍照、视频监控这些的数据被存储在各系统中,系统中的数据总量急剧的增长。新型业务的多样化,导致数据的多样化,同时快速发展的新兴业务所带来的新的数据类型更是目前不能预估的。基于结构化、半结构化新数据的类型,在大数据时代有各种各样的处理要求。在大数据时代,对于大多数新型的数据可能几十K或者几十兆数据处理都没有任何意义,而基本处理都是对TB级PB级的数据进行分析,才有价值,所以处理手段,业务模式也会有巨大的变化。
英特尔认为在大数据时代面向大数据应用在计算、存储方面应该提供更高效的解决方案。在大数据处理过程中,后端服务器的平台,计算还会是一个核心,英特尔的CPU技术会围绕高计算负荷,为大数据处理提供更好的支撑。英特尔面对新的行业应用,提出对象存储级优化的解决方案,持续投入大数据开发比如推出英特尔Hadoop的商业发行版,并广泛和业界的伙伴进行相关合作针对各行业提供较好的解决方案。
另外,朱海峰讲到,就整个智能数据中心来看,英特尔认为计算能力还是其中一个重要环节,英特尔会从绿色环保,高带宽,高计算能力,多核角度优化计算核心,着重在自强方面快速提升这种计算能力的优化,并具有长期的路线图制成高CPU计算的发展。
除此之外,英特尔基于自身公司特点,对Hadoop做了优化,使效率更高,网络存储分布的更加均匀。同时,英特尔还提供了基于浏览器的安装管理页面,解决了开源版本软件安装管理复杂的问题,为企业级范围内应用提供了更好的功能特性。
最后,朱海峰介绍了城市智能交通和医疗方面的解决方案。英特尔Hadoop在城市智能交通解决方案是国内首次采用了Hadoop分布式系统,信息实时交互系统,它可以定点追踪,跨数据中心存储方面,提高系统的可靠性。基于智慧医疗系统,英特尔Hadoop帮助城市智慧医疗系统,实现了利用Hadoop构建区域医疗的功能,实现了电子快速查询分析,影像数据的存储。