赖能和:不要看CPU了

DOIT原创 崔昊 发表于:13年08月08日 23:10 [原创] DOIT.com.cn

  • 分享:
[导读]无论是赖能和还是张铁钢,他们已经意识到,单纯依靠CPU提高工作负载能力、加速石油行业高性能计算性能的时代已经一去不复返

赖能和:不要看CPU了

“不用太过看重CPU,现在的CPU已经非常快了。”赖能和谈到,从2007年的宜宾到2013年的哈尔滨,七届高性能计算会议一路走来,他看到了x86架构处理器在过去七年不断的加速、加速、再加速,处理器的性能不断提升,而且“是完全不需要关心它(CPU)的性能提升速度和步伐”,在这样的背景下,石油行业的高性能计算却仍然遇到了挑战。

赖能和谈到,伴随油气勘探采集与处理新机遇的,是高密度海量数据处理正面临新的挑战:1、可控震源高效采集技术快速发展并广泛应用;2、高密度、高覆盖采集与处理技术提高勘探深度;3、高密度财季成为新的趋势,数据体越来越大。

“高频率、宽频带单点、单源的高效采集技术,使得每天产生的数据量大增,总数据量相关前约270TB,相关后90TB,一天就是7.5TB的数据(相关前),现在一炮(探测炸点)的数据相关后就是490MB,但是往往一天就要放5000炮。”赖能和认为,石油能源行业的地质、地震勘探正在朝着三维化、立体化、高密度、高覆盖度发展,这有效提高了对地层探测的精确程度和成像效果,但问题是:数据量越来越庞大,而高性能计算集群的计算性能却永远满足不了需求。

“CPU计算资源需求和海量数据存储需求都在急剧增长,对传统HPC技术提出了挑战。”赖能和表示,无论是从总套数、每套核数、还是每套的计算性能上来看,油气行业的高性能计算系统的水平都在提高,这说明高精度的地震成像、地质勘探算法需要海量的处理器资源,但既然已经买了很多的处理器,且处理器的性能提升越来越快,甚至“仅从计算量上来看已经问题不大”,但为什么却仍然难以满足需求,无法得到更精确的处理结果呢?

赖能和答案是“效率”:“我们以前处理器的效率非常低,最高才百分之十几,最低的时候只有2%,后来优化之后,效率最高能够接近40%,但是低的时候也只有15%,关键是要提高计算集群的效率。”赖能和提出,针对海量数据的高性能计算解决方案,要从五个角度来解决问题:

1、 高性能:采用最先进的CPU、PCIe架构

2、 高配置:采用大内存、大内置盘

3、 高带宽:采用全线速、无阻塞的高速网

4、 高效率:采用高可扩展的并行存储系统

5、 高吞吐:针对不同应用,选择存储软硬件架构

“你像我们的第一套系统,投入了2000多万,全部使用高性能并行存储系统、10GbE万兆以太网,而且都装了5块15k转的6G SAS硬盘,使用双路英特尔E5-2670服务器,经过调优后,并发运行后的效率从之前的最低3.65%现在提高到了44.37%。”赖能和说,这一数据实际上还有提升的空间,“通过优化配置,处理器的利用率能够大幅度提升,我的观点是,先不用着急买处理器,先把自己现在的处理器用好了再说。况且用好了现在的东西,才好说再去买,到时候就可以说‘你看,我们已经用的很好了’。”

赖能和还展示了一套大约2、3年前采购得高密度海量处理系统(基于至强X5660双路服务器)的优化结果:通过扩展24GB内存到96GB,增加计算节点内置盘及更换512K Cache的RAID卡,全面升级万兆以太网,新增14个计算和I/O节点,并使用并行存储系统取代原有的普通存储——在作业数为10、50、100的测试中,此次改造分别提高了4倍、10倍和8倍。

“马上我们计划第三、四套高密度海量处理系统,除了使用英特尔至强E5-2670双路服务器之外,我们会加大内存、内置盘以及使用万兆以太网,只有这样才不会浪费处理器极大的计算资源。”赖能和表示,使用高性能的处理器,必须要在网络、内置盘、带宽等层面予以全面配合,再加上协处理器,才能够达到想要的效果,处理器的效率才能够发挥出来,因此他对HPC新技术的应用提出了基于石油行业的需求与展望。

1、 CPU+协处理器组成的协同计算平台:基于多核、众核CPU技术、CPU+协处理器或CPU+GPU组成的HPC和多路服务器仍将成为主要的应用平台。

2、 高性能并行存储软硬件系统及固态硬盘SSD技术:以大容量、高性能、低功耗、低热量和低噪音的并行存储和新型节能存储介质技术将高速发展。

3、 高速网络技术:万兆网络技术将成为应用主流。

4、 基于水冷等新型节能技术,将成为关注的重点。

5、 云或移动计算平台:基于计算、存储、可视化资源池等基础设施整合的新的商业模式,将向用户提供服务。

[责任编辑:崔昊]
Niky
对于CIO来说,更换或使用SSD实际上并不比使用10k或15k转速的SAS盘更难,但这其中确实又存在着“闪存不具破坏性的前提条件”,那就是“闪存进入企业IT基础架构的三步走”。
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.