浪潮云海大数据一体机问世 大数据门槛大为降低

IDC数据显示,全球数字信息在未来几年将呈现惊人增长,预计到2020年总量将增长44倍。而全球90%的数据都是在过去两年中生成的,2011到2012年,全球所创建的数字内容增长了48%。如何更好地利用数据和分析,成为企业更好地创造业务优势的关键。

然而,现实的条件是企业在存储和处理大数据时,既要考虑硬件的问题,又要统筹软件的问题,更要兼顾两者的协调。因而大数据问题被很多企业认为是高不可攀。不过,这一切将随着浪潮云海大数据一体机的到来而变得简单。

浪潮集团高级副总裁王恩东

11月27日,浪潮公司在北京发布了基于全新技术架构的大数据处理平台——云海大数据一体机。该产品是面向大数据存储、处理、展现全环节、软硬一体化的方案型产品。浪潮集团高级副总裁王恩东表示,当前数据处理领域正处于平台架构的更替期,云海大数据一体机的面市,解决了原有架构的扩展瓶颈和新技术条件下的客户应用门槛,进一步推进了大数据技术在我国各行业的应用。

浪潮云海大数据一体机的推出,亦引起了发改委、工业和信息化部、科技部等国家部委的关注。相关官员表示,大数据是一个事关我国经济社会发展全局的战略性产业,大数据技术为社会经济活动提供决策依据,提高各个领域的运行效率,提升整个社会经济的集约化程度,对于我国经济发展转型具有重要的推动作用,浪潮大数据一体机的发布对中国发展大数据产业奠定了技术基础。

浪潮云海大数据一体机发布仪式

浪潮助用户跨过大数据应用门槛

我国行业信息化经历了二十多年建设后,各个行业已经具备了一些大数据基础,金融、电信、工商、交通卫生等行业已经积累下大量的数据资产。这些数据价值密度高,经过浅度处理便可产生巨大的价值。与此同时,在政府服务转型、转变发展方式的大背景下,各个行业、机构迫切需要将数据转化为对外的数据,转化为业务的竞争力,因此大数据具有广泛的应用前景,推动大数据在行业中的应用是中国产业发展的关键。

目前,以百度、淘宝等为代表的互联网企业已经开始了对大数据的挖掘和应用。浪潮集团高级副总裁王恩东表示,大数据产业的发展不仅只是关注互联网领域,而且更应该关注行业领域。“行业用户的数据质量高、规模大,挖掘价值远高于互联网,行业才是中国大数据产业应用和发展的主体。”王恩东表示:“行业大数据的应用不同于互联网,大数据应用复杂,跨度更大,跨部门,甚至跨行业需求更多,并且行业用户追求处理的准确性,及时性也远高于互联网技术,当前互联网的模糊数据应用模式难以满足行业精确数据的要求。”

谈到大数据应用的门槛,王恩东表示,当前处于新老架构更替期,大数据面临技术流派众多、缺乏协调的局面,硬件、软件、整合性产品和方案较少,导致客户在大数据应用方面存在诸多困难。而行业客户由于自身专业人才和技术的匮乏,缺乏大数据的应用经验,进一步限制了大数据的应用进程,用户迫切需要企业能够提供适应行业大数据应用特点的全新的处理技术,提供软硬件一体化整合性服务和产品。

浪潮集团系统软件总监、云计算产品部总经理张东

王恩东强调,浪潮集团全新发布的云海大数据一体机,正是顺应时代要求推出的。它通过浪潮集团一体化的产品、服务,帮助用户快速实现对大数据的应用与开发。同时浪潮也希望以此为起点,增强产业链的应用,共同挖掘并充分释放中国大数据的潜能,将中国的大数据产业做大做强。

四款型号满足不同需求

浪潮云海大数据一体机采用新型技术体系架构,是涵盖数据存储、数据处理、数据展现等全环节的一体化数据平台产品,具有可按需扩展、统一交付、集中管理等特点,用户可以根据各自应用特点选择不同系列的产品,同时浪潮提供全程技术服务与保障,为用户解决部署、业务移植开发等技术难题,帮助用户跨过应用门槛。

浪潮集团市场委员会市场推广部总经理陶宇主持发布会

目前,浪潮云海大数据一体机面向视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用,可提供三个系列的个性化产品,同时为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。

谈到一体机研发过程中的挑战,浪潮集团系统软件总监、云计算产品部总经理张东表示,尽管浪潮多年来在服务器、存储和软件等领域积累了丰富的经验,但真正要整合到一起,如何发挥最大的效用,需要浪潮的技术研发人员不断试验和优化,并最终定型。

浪潮云海大数据一体机采用全分布式大数据处理架构,平台能够随着用户数据的增长和业务的扩张而不断增长,并且能够保持极高的线性度,解决了传统架构的扩展瓶颈,系统在扩展至120000核心时依旧保持0.8左右的扩展效率。由于系统集成了计算单元、存储单元、通讯单元、管理单元等核心模块,因而是对数据存储、处理、展现的全环节的解决方案,并且系统由浪潮统一开发,能够统一交付,集中管理,用户可以用浪潮一体机轻松搭建适合自身需求的大数据存储和处理平台。

张东介绍,浪潮在云海大数据一体机研制过程中进行全局优化,使得系统在性能、可用性方面有了重大提升。例如,通过优化系统任务调度策略,动态调整任务执行资源,减少慢任务数量,任务执行时间平均缩短16%以上;引入Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度,浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省;采用多级高速缓存,固化特定算法到FPGA,实现硬件加速。经测试,1TB数据排序测试整体访问性能提高50%。

济南市公安局信通处处长张强

“除了性能和可用性等提升外,浪潮还提供从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题,帮助客户实现由传统数据仓库向新型大数据平台的平滑迁移。”张东表示。

作为大数据应用的典型代表,济南市公安局信通处处长张强在云海一体机的发布会上介绍了大数据技术的应用情况。此前,济南市公安局与浪潮集团建成了全国第一个投入使用的“警务云计算中心”,良好的成效得到了公安部、山东省两级领导的充分肯定。目前,济南市公安局正在利用大数据技术实现人像模型、指纹、十字路口的行车图片、监控视频等数据的融合处理和比对,从而为整个公安系统提供决策支持,一些试点系统已经开始实际应用,下一步双方将共同构建基于全新架构的大数据平台,为各个部门提供全面的数据分析和挖掘服务。

“浪潮云海大数据一体机是应对信息社会大数据时代核心的技术装备,它标志着国产自由品牌在大数据处理方面已经达到了国际领先水平,可以想像随着平安城市建设不断深入推进,大数据一体机这样的数据处理平台也将起到关键的作用。”张强强调。