浪潮HPC提速海洋环境与气象研究

近日,浪潮天梭TS10000高性能服务器成为中国海洋大学建设国内领先的海洋环境与气象领域领先的高性能计算平台,同时为该校各重点实验室提供超级计算支持。这一超算平台建设将提速我国在海洋环境气象科研领域的研究进程。

中国海洋大学是国家“985 工程”和“211工程”重点建设高校之一,也是我国最权威的海洋学研究单位之一。为进一步提升海洋科学的研究水平和进程,海洋大学于2010开始启动计划构建一套用于海洋环境与气象数值模拟的高性能计算集群,总体规模将达到5000个计算核心及近70万亿次的计算性能。在该超算平台上,研究的主要课题有海洋环流动力学、海洋波动与混合、海-气相互作用于气候等,涉及到近海环流与物质运输、大气环流动力学、极区海洋动力过程、大气换流动力学、海洋与气候模式等多个研究课题。

系统建设前期,海洋大学组织了详尽的调研和考察,并对主要参与厂商做基于海洋研究的实际应用测试,如WRF模拟测试、气候态数据驱动的ROMS模拟的测试等。浪潮气象行业应用专家配合海洋大学进行了详尽测试,通过系统分析应用流程,将其定位为前处理、主模式和后处理模式,前处理包括资料的下载、数据同化等等,后处理主要是指图形化处理生成产品等,前/后处理一般对计算机要求不是太高。

主模式是整个系统的主要部分,也是主要计算量所在,这个部分是对计算机性能要求非常高,它体现在:1、应用软件对计算能力的需求非常高,特别是浮点处理性能。浪潮采用Intel 最新Westmere六核处理器,浮点运算能力极强,适合于MPI分布式内存的计算。2、应用软件的并行化对于网络延时和带宽的要求很高,浪潮配置了单向40Gb的高速Infiniband网络,满足所有节点计算交换需求,网络延时低。3、在具体的应用测试中,浪潮发现边界区域会产生大量数据交换与存储需求,因此一个优秀的存储系统能够满足软件对于网络带宽的需求,IO节点接入40GB的Infiniband网络,大大降低CPU等待数据计算的情况,提高了计算效率。4、系统运行稳定性要求高。

浪潮针对海洋大学的主要应用需求,提供有针对性的解决方案:
结算节点:采用最新的处理器技术,获取强劲的计算性能
采用Intel Westmere X5650六核CPU,该类型处理器浮点运算能力极强,适合于MPI分布式内存的计算;
采用高密度浪潮NX560T刀片服务器作为计算节点,满配电源风扇,提供强劲的计算性能

存储IO子系统:
IO节点:采用浪潮SA5212H,集成双千兆网卡、40Gbps ConnectX QDR Infiniband卡),实现内外高速互联;
104TB存储空间,满足未来海洋研究数据存储需求;
配置新IO节点与原有IO节点,重新搭建Lustre并行文件系统。
计算网络:配置多台IB交换机,兼容原有IB交换机,重新进行网络搭建,实现原有本次新增节点与原有节点的40Gbps Infiniband QDR接口,实现所有计算节点、管理节点和存储设备的无阻塞通信。
管理网络:配置千兆管理网络,连接所有本次新增的节点和原有节点,对整套系统提供管理服务。
IPMI管理网络:配置百兆交换机,共同组成IPMI管理网络,连接所有本次新增的节点和原有节点,对整套系统提供IPMI管理服务。
视频切换系统:采用浪潮S1000KVM系统,通过菊花链扩展的方式,连接所有节点,在一套显示器上进行所有节点的切换
提供系统的软件工作、管理平台:
linux 企业级操作系统
浪潮TSMM集群监控管理软件、浪潮TSJM作业管理软件、浪潮TSDM集群部署软件、浪潮睿捷集群备份软件
Intel集群编译、调试、数学库等软件、MPI、PVM、OpenMP等并行环境

计算网络采用胖树网络架构,二层采用QDR IB交换机,一层采用QDR IB交换机+刀片机箱集成的IB交换模块,互联构建全线速IB互联。使用该架构可以扩展至648节点。管理网络采用千兆交换机构建而成(包括原有的千兆交换机),所有节点通过千兆接入到管理网络。IPMI网络采用百兆交换机构建而成(包括原有的千兆交换机),所有节点通过百兆接入到IPMI网络。

浪潮提供的应用方案具有计算性能卓越、系统运行可靠稳定、功耗控制领先、监控管理系统方便易用、系统开放易于扩展、保护原有建设投资等特点。“浪潮在项目的跟进过程中,特别委派专业的行业经理和技术专家,针对应用做了完整的功能性测试,整体方案全部量身定制,配比合理。” 海洋大学项目负责人称浪潮在整个项目过程中展现的专业素养、应用理解力及服务能力留下了极为深刻的印象。

秉承“好用、用好”这一理念,浪潮高性能计算业务已连续多年保持高速增长态势,在生命科学、基因测序、量化材料、地球科学、海洋环境、石油勘探等领域得到广泛应用。慧聪调研数据表明,2010年浪潮高性能计算在高校市场的占有率增长明显,目前居于国内首位,浪潮在985重点高校的优势尤为明显,如清华大学、北京大学、吉林大学、西安交通大学、西北工业大学、哈尔滨工业大学、国防科技大学、华中科技大学、北京理工大学、上海交通大学、山东大学等多所高校均有成熟的成功应用。