日前,主题为“数据蕴藏价值 用芯发掘机遇”的英特尔大数据技术及行业应用论坛在北京举行。英特尔介绍了其在大数据领域的最新进展,并携手独立软件开发商、系统集成商等合作伙伴展示了基于“英特尔至强+Hadoop”基础上的行业大数据解决方案。其后,同样的论坛还将在上海、广州、南京、武汉、成都等地举行。
谈到英特尔这样做的原因,英特尔数据中心软件部中国区首席技术官苗凯翔博士表示,现在大数据软件解决方案已经成为了英特尔全球战略。中国已于去年底早于全球发布了英特尔Hadoop发行版软件。从英特尔战略来讲,硬件和软件的结合非常重要,英特尔真心希望从性能上帮助业界往前跨一步。有鉴于大数据的迅猛增长和企业对大数据越来越重视,英特尔准备和合作伙伴一起,共同建设大数据生态链,为电信、金融、医疗、智慧城市等行业提供更多契合需求的解决方案。
“软+硬”全力深耕大数据市场
英特尔在大数据论坛上展示了医疗、电信、金融等行业的大数据解决方案及案例,而支撑起这些解决方案,并帮助它们成功通过实战考验的主要力量,则是来自英特尔应大数据核心应用需求而开发的创新产品和技术,其中主要包括:可为大数据的采集和边缘处理提供支持英特尔凌动处理器及英特尔至强E3处理器平台;能实现高效横向扩展以承载大数据分布式存储、管理、处理和查询重任的英特尔至强E5处理器平台和针对它进行了优化、以具体实现这些应用功能的英特尔Hadoop发行版软件(Intel Distribution for Apache Hadoop);主要为大数据分析和商业智能提供支持,拥有高性能,支持高带宽、高容量内存子系统,并具备可媲美小型机的可靠性、可用性和可维护性(RAS)特性的英特尔至强E7处理器平台。围绕这些核心处理器平台所构建的服务器设备,英特尔还提供了万兆以太网和固态硬盘等创新,来突破大数据应用在数据传输和存储方面的性能瓶颈。
英特尔Hadoop发行版软件虽然是新近加入英特尔阵营的产品,属于“软”实力,但实际上它在英特尔内部已经孕育有些年头了。这期间一些用户的需求,比如电信行业3G智能手机的用户想查流量清单,智慧城市中的车载数据、视频数据、监控数据的管理和分析。这些用户实实在在的需求驱动英特尔把Hadoop变成一个真正的产品。
“2009年开始我们已经开始做Hadoop,当时是作为一个创新主题,看看Hadoop的架构、应用场景是什么。由于当时中国有具体的需求,大数据环境非常好,并且有电信行业典型的用户需求。这都推动我们马上把Hadoop变成了一个产品来满足客户的需求。”苗凯翔博士回忆说。
英特尔中国行业合作解决方案服务部企业技术销售与数据中心咨询资深经理张哲源表示,正是有了Hadoop的加入,英特尔才能实现“软硬”的有机组合,构成了英特尔针对大数据应用提供的端到端支持,推动更多的合作伙伴在其上开发适合行业需求的大数据解决方案。
端到端支持用友医疗数据大挖掘
作为英特尔医疗行业大数据的重要合作伙伴,用友展示了其基于英特尔平台的大数据解决方案。用友医疗卫生信息系统有限公司副总裁、用友智慧健康研究院首席专家徐春华介绍, 医疗行业和大数据相关的主要有三大领域,也即电子健康档案、城市级的电子病历数据中心和卫生医疗相关的统计数据。这三个领域的数据有着共性的特征:海量数据、结构化半结构化并存、版本随着时间而改变。有鉴于此,用友将大数据技术主要用于三大数据库的建设上。
“这些领域必须采用大数据处理手段来处理,关键要素涉及到两个:一是通过引入并行计算框架提高整个解决方案的运行性能,到了PB级数据以后,运行时间成为了关键参数;二是基于列的数据库架构,它和传统的关系型数据库有很大的差异。”徐春华说。
在过去一年中,用友医疗和英特尔上海Hadoop团队开展了深入的合作,采用基于英特尔x86服务器集群+Hadoop综合解决方案来尝试处理大型电子健康档案和区域性的医疗质量分析。目前从运转情况来看效果非常理想。
在医疗行业,用友采用的计算架构有三类:x86服务器、小型机、大型主机。谈到大数据领域用友为什么会选择x86集群?徐春华表示,传统做计算架构或者存储架构的时候,经常要考虑3年到5年的存储量。但这样往往存在着大量的浪费,因为刚开始往往用不到那么大的量。而英特尔提倡的横向扩展模式,可以根据业务的规模而随时增加计算和存储能力,这是用友和用友的客户非常乐于接受的一种模式。