并行科技可视化英特尔至强融合协处理器性能

7月18-19日,英特尔集成众核技术峰会在北京怡生园国际会议中心召开。本次峰会是英特尔集成众核产品发布以来第一次专注于集成众核技术的盛会。会议主要围绕集成众核技术深入展开,汇集了集成众核技术的最新信息和行业前沿。参加此次会议并现场演讲的嘉宾天河二号副总设计师卢凯研究员、并行科技CEO陈健、中国科学院网络中心曹宗雁、东方地球物理公司物探技术研究中心副总工陈维、清华大学付昊桓、华大基因王丙强,以及英特尔的何万青、陈媛、游亮、王哲等专家,与来自生命科学、石油化工、互联网和科研机构的客户汇聚一堂,共同分享探讨了Intel® Xeon Phi™协处理器产品特性及相关案例。并行科技(http://www.paratera.com)作为此次会议的独立软件开发商(ISV),由陈健带来关于Intel® Xeon Phi™协处理器的高性能计算解决方案。

  并行科技CTO陈健详解“Intel® Xeon Phi™协处理器高性能计算解决方案”

陈健首先以Intel® Cluster Ready为切入点,介绍了并行科技的HPC机群建设整体解决方案:“ParaPlus是并行科技在国际通行的Rocks系统开源软件基础上,进行二次开发后形成的一套经济稳定的成熟方案,其标准实施软件是经过Intel® Cluster Ready认证的。其中包括两类机群管理软件:第一,Rocks机群管理软件,对于用户而言,能够免费获取软件,只需支付少量服务费用;第二,Bright Cluster Manager™,目前是英特尔主推的一个机群管理套件,已全部完成对Intel® Xeon Phi™协处理器的支持。BCM由Bright Computing公司提供,其可视化完成整个机群的安装、使用及管理。对于用户而言,最重要的是它已经集成了所有Intel® Xeon Phi™协处理器的相关软件,使得用户能够快速便捷地使用Intel® Xeon Phi™协处理器。”

随后,陈健详细阐述了针对Intel® Xeon Phi™协处理器的高性能计算解决方案,其包含三部分:(1)机群管理套件;(2)针对Intel® Xeon Phi™协处理器的调度系统,可实现多种应用模式的调度,比如调度MPI+Offload,或者把单进程任务直接调度至Intel® Xeon Phi™协处理器上,以及将MPI的任务直接调度到Intel® Xeon Phi™协处理器的本地区运行,另外,MPI任务还可以在常规服务器节点以及协处理器节点之间混合使用;(3)性能分析可视化软件Paramon,尽可能地将高性能计算的程序开发、运行可视化,实现动态、实时地查看数据。

  Intel® Xeon Phi™协处理器性能可视化分析

Paramon能够实时显示基于Intel® Xeon Phi™协处理器的实时浮点性能Gflops值,此数值在以前并不存在获取的较好办法,而基于Paramon软件可以实现秒级刷新,一秒一刷新当前系统中正在运行的所有程序。Paramon能够做到以卡为单位,即以一个嵌入式操作系统为单位,来捕捉卡的利用率。在Paramon4.0中,预计8月31日发布,提供两个最基本的Intel® Xeon Phi™协处理器的微架构数据——CPI、向量化率,这是目前常规应用移植到Intel® Xeon Phi™协处理器上所遇到的两个瓶颈点,并行科技已将这两个瓶颈点解决。同时在执行性能的移植与调优时,可通过Paramon、Paratune迅速定位问题,快速识别应用性能瓶颈。

陈健说道:“目前对于高性能计算领域,几百台服务器的一套机群已经较为常见,所以我们首先考虑大规模机群运行状态实时可视化,然后是尽可能地让计算单元发挥最大性能,但如何能够保证这一点?此时需要在一个界面内看到所有CPU、内存、网络、磁盘四部分的数据,而Paramon的设计则是将内存、SWAP、本地磁盘、以太网、InfiniBand以及网络文件系统的数据以可视化的方法置于同一界面中,此界面涉及已经申请专利保护,符合人脑学习习惯,在有限视野中涵盖了丰富的数据,长期使用能够习得一种高效的模式识别!熟悉此界面的专家,扫一眼就能了解机群的运行情况,包括是否存在闲置、性能瓶颈、故障判断、非计划任务等。”

  并行科技CTO陈健

据悉,由并行科技和英特尔工程师团队合作翻译的《Intel® Xeon Phi™协处理器高性能程序设计》中文版书籍,将在10月份由人民邮电出版社正式出版。此书巧妙地以赛车为例,由通用编程模式开始从硬件到软件,操作系统,编程实践,数学库到性能剖析和优化层层展开,抽丝剥茧,是关于Intel® Xeon Phi™协处理器上高性能编程的最新工程专著。此次峰会上,并行科技展出了此书的试读版本,与会人员表示了对此书的极大兴趣,对于使用Intel® Xeon Phi™协处理器的用户以及英特尔而言,这无疑不是进行相关培训的最佳书籍。

最后,陈健总结道:“Paramon是目前唯一的秒级实时可视化性能工具,能够看到程序运行的当前状态,实时的浮点计算性能、内存带宽、向量化以及CPI,相比于Intel® VTune Amplifier而言,较为便捷。并行科技的Paramon、Paratune软件得到了能源行业的大力支持,全中国能源行业Paramon的安装机群数多达80套,总安装服务器数量已超过2万台,全中国HPC Top100装机率超过30%。Paramon0.1版本在胜利油田的地质院安装使用,Paramon1.0版本在大庆油田安装使用,Paramon1.2版本在中石油东方地球物理公司(BGP)实现价值,Paramon3.0在南京物探(中国石化石油物探技术研究院)安装使用,而最新的Paramon可以将商用、应用级作业调度嵌入到软件中,后台提交的作业对于黑匣子管理员来说是透明的。总体上,并行科技的Para应用运行特征文件实现了机群性能优化循环的可查看、可记录、可分析、可交流,是应用用户与性能专家之间进行沟通交流的语言。”