浪潮 发表于:14年12月16日 10:52 [来稿] DOIT.com.cn
2014中国大数据技术大会(BDTC 2014)于日前刚刚闭幕,近百位全球大数据产业界知名学者、企业领军人物、行业资深专家和一线实践技术代表,现场分享了Hadoop、YARN、Spark、HBase、Impala、Tez等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,以及大数据下的可视化、图计算、机器学习/深度学习、商业智能、数据分析等的最新业界应用,吸引了数千观众到场。浪潮作为国内领先的云数据中心产品和解决方案供应商,在本届大会上分享了独特的行业大数据理解。
只有互联网,才有大数据?No!
浪潮云计算产品研发部总经理张东认为,虽然互联网是大数据技术应用最深入的行业,但这并不意味着只有互联网才适合大数据,金融、税务、工商、交通等行业经过二十多年的信息化建设,积累了相当丰富的数据资产,其总体数据规模甚至要超过互联网,大数据技术在这些行业中有更加广阔的应用潜力。
浪潮云计算产品研发部总经理张东讲述行业大数据
然而,张东也指出,行业大数据在数据采集阶段、数据分析处理阶段以及数据展现阶段,与互联网大数据存在相当大的区别,如在数据采集阶段,行业数据的多模态、多来源、跨时空、大规模等特性使得采集更加困难,数据格式相对复杂,而数据的归属权限也造成了数据分享壁垒。同时,传统行业缺少像互联网的专职编程人员,缺少既懂得业务又懂模型算法的复合型大数据分析师,难以将业务经验转换为计算机语言和模型,更加依赖应用开发商进行业务开发。
做大数据的“调校工程师”
可以说,行业大数据的应用特点,赋予了提供大数据产品和服务的企业更大的发挥空间。张东认为,对于众多的行业用户而言,现阶段大数据应用的关键不在于充分挖掘数据的价值,而是要先把大数据平台建立起来。这些技术方面的限制可以交给企业来解决,如果把大数据平台看作一部“发动机”,经过不同的工程师调校,发动机的性能表现会有很大的区别,用户需要考虑的问题就是选择一个合适的“调校工程师”。
目前,浪潮在基础设施、大数据平台以及应用创新三大环节,提供全面的大数据产品、解决方案和服务。
在基础设施上,浪潮以融合架构为核心,着重通过计算、内存、网络解耦的硬件重构,充分发挥软件定义的价值。在异构计算领域,浪潮正着手开发、设计面向不同大数据应用的通用、轻量和重载计算单元,如视频处理、图像渲染、在线交易密集型等重载应用,需要可重构加速器件或众核处理器;模式计算、商业智能、数据挖掘等通用数据处理应用,更需要计算能力、I/O能力、存储能力的均衡;企业搜索,流处理海量并发的轻量级应用则需要多核多线程低功耗处理器,并发线程优化。
内存计算是未来大数据高速处理的关键性技术之一。基于此,浪潮正在开发非易失存储介质(NVM)和传统内存(DRAM)的高可靠、大容量、低功耗构建异构混合内存,可实现写延迟3~5ns,IOPS不低于150万,带宽不低于10GB/s。
而对于下一代高速互联网络的开发,浪潮将基于硅光的低成本、高带宽互连技术,开发动态可伸缩的分布式网络拓扑架构,可实现400Gb/s互连,带宽提升20倍,成本降低20%。
浪潮云海大数据一体机
浪潮大数据一体机是浪潮在大数据平台上的代表产品,整合了软硬件于一体,涵盖了流程与技术一体化、软件与硬件一体化、解决方案一体化三个层面,能够解决用户在数据挖掘、存储、分析等环节找不同供应商面临的服务整合难题。
对于行业大数据未来的发展,张东认为,行业大数据将从业务驱动阶段,逐步过渡到数据融合阶段,最终实现数据驱动。而随着行业大数据应用的深入,大数据技术也将惠及更多的民生领域,为人们生活提供更多的便利。