高性能计算:使用户价值最大化 走向商用大势所趋

服务器在线7月8日报道 随着全球高性能计算TOP500榜单的发布,高性能计算再度成为业内和媒体关注的焦点。从今年的榜单看,最明显的趋势是高性能计算已经走出了金字塔的塔尖,开始向塔中和塔基的商用领域进军。那么在商用领域,高性能计算应该如何发展才能满足用户的需求?用户又会从中得到哪些价值?

高性能计算走出塔尖 商用大势所趋

提到高性能计算,相信许多人会认为它高高在上,只是在科学研究等狭小领域应用,就好比是金字塔的塔尖。但由于计算能力的不断提升以及系统价格的下降,使得高性能计算正在从科研走向商用。

例如最新的全球高性能计算TOP500中,有288套系统服务于商业,这之中,有的做石油方面的应用、有的做金融方面的应用、有的做制药方面的应用,甚至一些信息服务方面的应用也都使用高性能计算系统。这288套系统中有275套全都是IA架构,这一方面说明这些商业客户选择高性能计算系统的时候把IA作为首选的平台和架构,同时也说明商业应用在TOP500中越来越多。

由此可以看出,高性能计算不再是科学家、研究员和学术领域的专用设备,商业企业也开始关注和运用高性能计算来解决更为复杂的问题,进行商业关键数据分析或执行深层工作负载。那么为何高性计算会走向商用?会给用户带来什么样的价值呢?

例如在工业领域,随着产品设计复杂性的提升和分散运作全球化的趋势,制造业需要快速利用有效的工具来帮助他们与不同领域的设计团队和厂商通力合作,来获取更多的计算资源。高性能计算解决方案通过集结不同的系统将其作为统一的计算资源进行管理从而最大限度提升了工程计算工作负载的流量。

此外,由于商业贸易量的持续增长,金融集团目前面临着市场重组的空前挑战,急需重新制定贸易条例来应对实时交易的更高需求。而且他们也承受着重新构建内部计算系统基础架构来保持市场竞争优势的巨大压力。金融机构为了保持竞争优势,都希望处理复杂交易的速度能比竞争对手更快。

对此,英特尔(中国)有限公司服务器产品事业部产品经理顾凡向记者举例称,华尔街多在风险模型的预测方面用高性能计算,当他们做一些投资产品组合的时候,要响应市场,一定要以最快的速度做出决策,这个决策可以让风险降到最低,得到最大的回报。而运用高性能计算意味着他们可以更快抢占市场先机,做出更快的决策。

同样,石油勘测部门深知高性能计算是帮助地质学家开展最复杂最精深的勘探项目的最有效方法。高性能计算能帮助地质学家做出更加准确的勘探决策。要知道提议开采新的油井或提高现有油田的产量都是要花费巨额投资的。使用高性能计算,能让用户对投资回报更加充满信心。

根据笔者的了解,从国际通用的数据来看,高性能计算市场主要可分为科学计算、高端商用计算和高可用集群三类,但科学计算仅占高性能计算机市场份额的5%,与目前我国的市场格局相差很大。

为此,身兼曙光董事长和院士双重角色的中国科学院计算机所所长李国杰院士在多个场合提醒媒体,不要过多关注高性能的排名,排名在一定程度上确实能反映我国计算机的实力,但并不是排名越靠前就越有效率。他呼吁尽快把高性能计算转化为商业应用。而从IBM、惠普、Sun等公司的高性能计算业务在商业市场的比例为90%的事实看,高性能计算走向商用已是大势所趋。

软件调优提升效能 满足用户需求

正是由于高性能计算走向商用,用户在选择高性能集群时,除了关注性能指标外,用户在每台高性能集群系统最初设计的建议多是综合了目前应用实测结果以及专家的经验给出的。

通常情况下,由于实际测试需要的设备和工作量太大,所以用户大多是从已有平台的测试结果定性地推测未来平台的性能。不过如此进行高性能计算系统的设计会与实际情况有一定的偏差。例如在石油勘探行业,石油勘探行业用户主要应用高性能计算机进行地震数据叠前时间和深度偏移等海量数据计算,其计算时间视计算规模不同最多可达几十天。

因此用户对高性能计算提出了非常苛刻的要求,具体包括:具有强大的硬件性能表现及能耗比,有优秀的开发应用软件技术配套,方案符合石油石化行业发展的需要,符合开放的标准,有广泛合作伙伴的支持。

对此,为了更好地分析现有系统及预测未来应用所需硬件平台的实际性能,需要提供全面的工具以实现对应用软件的计算、通信和数据存储等多方面进行精细化的特征分析,并分析高性能集群系统的硬件系统特征,再将数据组合起来,以建立性能模型,再通过性能模型模拟并预测应用软件在未来硬件平台上的实际性能。采用这些分析工具,可以大大提高用户设计未来高性能集群系统的准确度。

对此,英特尔企业解决方案部高端企业客户中国大区经理王克先对《中国电子报》记者讲,英特尔软件产品就是一整套帮助应用开发及使用人员在X86及安腾体系架构上最大限度提升性能的软件工具。这些工具与目前市场主流的高性能计算软硬件运行环境兼容,使用人员很容易将这些工具与他们现有的软件工具配合使用。

英特尔高性能软件产品由一组完整的工具产品组成,包括高性能编译器,VTune可视化性能分析器,高性能函数库,多线程工具和应用于高性能计算的集群工具及工具包等等。这些软件产品能帮助用户通过调优中间件和应用软件,最大限度发挥系统的效能。目前,英特尔软件产品已被越来越多地成功使用在全球很多知名的软件公司、高性能计算中心及实验室内,并且发挥着越来越重要的作用。

例如最新TOP500榜单中国内地排名第一的胜利油田,采用的是2.33GHz英特尔至强双核处理器,具有960个节点,共4096颗处理器,其实测LINPACK峰值高达18.60万亿次浮点运算。这一成绩的取得不仅依靠强大的硬件支持,软件调优更是功不可没。

据胜利油田物探研究院李战强向记者透露,该系统在调优过程中采用了英特尔公司提供的两个软件:IntelCompilers(编译器)和IntelVTuneAnalyzers。该系统在建立伊始,其16个集群节点的效能只有66%,仅仅达到了0.39万亿次/s的水平。技术人员在采用IntelVTuneAnalyzers调优工具的分析后,发现系统在交换机方面存在瓶颈,通过与网络厂商技术人员分析和调整,系统的性能提升到9.28万亿次/s(1000个节点)。

此后,该系统采用MPI+OpenMP的混合应用架构,进一步将性能提升至12.2万亿次/s。最后又通过移除掉缓慢交换节点,以及反复平衡每一个节点性能后,才最终达到了目前的18.6万亿次/s的水平。从这个用户的实例可以看出,在高性能计算的应用中,软件调优对于提升系统效能和满足用户需求的重要作用。

当然除了软件调优外,要提高高性能计算应用的效能还需要通过多种手段来提高系统的I/O和内存带宽等。总之,在高性能计算进入商用的时代,性能固然重要,但如何更好地发挥性能,满足用户的需求才是关键。