石油行业案例分享:如何有效优化X86集群

DOSERV服务器在线 原创报道: 在英特尔2010年度高性能计算研讨会上,高性能计算对于石油行业的重要意义被再次重申,英特尔能源及高吞吐计算团队高级主管工程师菲利普•蒂埃里表示,随着全球石油资源的日益减少,现有油田的深度开采,石油行业被迫进入更加复杂的环境中,更加复杂的计算模型需要更高的计算系统,百亿亿计算很可能将在石油行业首先出现。

据英特尔企业解决方案部石油天然气行业资深企业客户经理杭晓东透露,英特尔未来实现百亿亿次计算的关键技术点——MIC众核架构的第一代产品Knights Ferry,现在已经在和国内的用户接洽,为进一步测试和使用做准备。

石油行业对高性能计算的渴望可谓永无止境,中国石油东方地球无力公司研究院处理中心总工程师赖能和向媒体透露,去年一年,东方地球物理公司购买了超过4000个处理器核心,今年到年底仍然会继续采购超过2000个核心的处理器——如果不是原有数据中心面积和供电,赖能和表示,购买的数量将会不止翻番。

与已经成为常态的高性能计算的飞速发展相对应,来自多家石油行业的用户代表向DOIT记者表示,GPU+CPU的混合计算模式,受限于CUDA编程技术尚未普及及二次开发复杂的门槛,暂时仍然处在观望状态,虽然石油行业的多款应用软件,尤其是包括Omega2、Marvel、SeiSpace在内的多款RTM计算应用,都已经开始支持GPU计算,但作为第一线的实际用户,GPU+CPU的计算模式,除了冲高峰值Flops之外,距离一线应用仍然存在一定距离。

在上午的会议上,中国石油大庆油田公司勘探开发研究院总工程师张铁钢与赖能和总工程师分别介绍了新一代X86服务器在项目组计算中的应用趋势以及石油行业高性能计算的发展趋势。

张铁钢:新一代X86服务器在项目组计算中的优势

张铁钢认为,在油气开发项目组中的地学综合研究中,新一代的X86服务器相对于原有的SMP架构的服务器系统更具优势,他认为,X86服务器实际上“创新了大型机技术理念,性能上取得了突破的进展。”

作为勘探开发研究院的总工程师,张铁钢表示,大庆油田在高性能计算领域,之前一直采用针对项目组计算建立集中管理的地震解释工作环境,整套解决方案包括工作站、勘探开发数据库、图形服务器、软件服务器及千兆网络,系统功能单一、系统复杂并由于采用垄断技术而投资巨大,利用率也偏低,他认为,整合从勘探到开发的一体化解决方案更适应目前项目组计算的应用需求,具有可重复性的工作流从地震解释、地质建模到数模工作流自动备份、编辑及重新运行,实现模型快更新和不确定性的量化分析。整套系统完成了地学综合研究协同工作平台,实现了可复用和多用途的双重收益。

他认为,采用多核处理器的4路至32路系统的性能增长使得X86服务器迅速占领了石油行业的高性能计算系统,基于对Windows、Linux的良好支持以及虚拟化间似乎的应用,未来将成为主流的地学应用平台。

赖能和:东方地球物理公司的经验分享

作为连续参加四届英特尔高性能计算研讨会的嘉宾,赖能和每次的演讲都以详实的数据和前瞻性著称,本届会议上同样不例外。

与张铁钢的观点一致,他相信PC集群会成为油气勘探数据处理的主流应用平台,但关键点是应该有针对性的对系统进行应用为导向的优化,赖能和表示,软件、硬件的方法合理使用将能够大幅度的提高系统的性能,尤其是在X86服务器集群上,这一点尤为明显。

赖能和认为,PC集群现在是高性能计算的必然发展趋势

过去一年,东方地球物理公司投入了300多万元,对1280个CPU的内存进行了升级扩充、存储接口改造,仅在内存升级上,系统就获得了2-7倍的性能提升。据赖能和介绍,其中采用每节点8core模式的512个CPU,分别用8GB和16GB内存升级前后运行RTM计算,CPU效率得到了7倍的性能提升。

但赖能和同时表示,升级需要有针对性,面向应用特征,不能盲目的冲高冲大——在16GB升级到24GB的过程中,系统性能的提升就远远低于之前到16GB的内存扩充,考虑到成本问题,这样的升级就并不值得。

赖能和认为,在PC集群面向高性能计算的系统设计和运维中,应该针对不同应用系统、不同项目、作业参数和硬件配置情况,调优测试一个作业使用CPU的最佳数量,同时考虑内存、外部连接、内部IO等各方面的内容。

此外,他还提到,大规模共享的并行存储系统对HPC效率的提升也是显而易见的。