用刀片集群感知上海世博会的“呼吸”

服务器在线6月24日 带着对08奥运蓝天白云的美好印象,人们不禁对即将到来的2010年世博会充满了期待。在“城市,让生活更美好”的主题下,“绿色世博”理念已经成为上海在城市生态文明层面向全世界许下的庄严承诺。而随着上海市环境监测中心空气质量预报系统近日的升级上线,一幅属于世博会的“蓝天白云画卷”也正在向公众缓缓打开。

为世博空气质量“号脉”

“高污染日不高于10天,保证不差于历史同期水平。”——这是上海市环保局为2010年世博会定下的空气质量目标,这样一个目标的实现显然并不轻松。

“世博会不比奥运会,会期前后跨越半年时间,要实现更高标准的空气质量目标,就必须要有一套精确的空气质量监测和预警系统。” 上海市环境监测中心综合信息室主任王汉峥对此有着清醒的认识。

也正是基于这样的考虑,上海市环保局早在08年底便启动了“2010年上海世博会空气质量监测预警项目”。这项目由上海市科委出资、上海市环境监测中心承担建设的科研项目,重点着眼于开展环境空气监测体系建设研究,构建多要素的环境质量监测体系,项目研究范围包括改进、优化空气质量预报,开展世博园区定点预报及实现48小时高污染集合预报,其中空气质量预报系统成为项目的重点建设环节。

事实上,早在2004年,上海市环境监测中心就已经建立了一套完备的空气质量预报系统。但限于当时的软硬件水平,该系统的预报时限仅为24小时,预报精度离世博会标准也有一定差距,系统的扩容升级势在必行。

据王主任介绍,中心根据整个项目的监测要求,在原有系统的基础上引入了CAMQ、WRF-CHEM、CAMx等国际先进的空气质量预报模型。综合不同模型的运算结果,实现对二氧化硫、二氧化氮和可吸入颗粒物三种主要大气污染物,进行高效率、高精度的预报。与此同时,中心也正式面向社会招标,以期构建一套性能强劲、运转平稳的高性能集群来承载新模型的海量数据处理。

浪潮TS10000刀片集群,紧密贴合新应用

由于不同模型的算法不尽相同,对平台架构的要求也参差不齐,例如CAMx模型,它不但对系统性能要求高,而且属于共享内存并行运算,只能在单节点上运行。除此之外,出于主管部门“绿色环保”的考虑,对整个系统的功耗控制也提出了一定要求。最终,主打“高密度计算”和“绿色节能”的浪潮天梭TS10000刀片集群得到客户的一致认可。

据了解,本套浪潮天梭TS10000共包括11个计算节点,一套配有8刀片的NX7100DB刀片服务器做为核心计算平台、一台NF560D2四路服务器做胖节点计算、两台双路服务器做备份。借助浪潮“刀片+四路”的组合,既满足了客户对于性能和节能的需求,又解决了不同模型引入后的应用难题。

作为方案核心的NX7100DB刀片则成为整个集群强劲性能和卓越功耗控制的基石。浪潮NX7100DB刀片是专门应用于高性能计算集群的刀片产品。它采用先进的Intel 45nm四核处理器,I/O传输带宽最高能达到21GB/s,搭配FBD全缓冲内存以及外存设备,能够有效提升系统计算性能;在功耗控制方面,NX7100DB采用转换效率高达93%的电源系统以及多项节能技术,大幅降低了系统功耗;此外,NX7100DB刀片主机配置一块统一监管模块,可实现远程对系统软硬件资源进行监控、管理。冗余的DDR InfiniBand交换模块,不仅对系统内各组刀片提供高速的互联通道,而且为将来的灵活扩展预留了足够空间。

谈及上海市环境监测中心选择浪潮的原因,王主任补充到:“我们毕竟是一个应用型单位,在业务领域是非常精通,但我们不是高性能计算方面的专家,所以我们希望系统厂商能够基于我们的应用,提供精准的全方位的技术支持。浪潮的高性能工程师在系统规划之初就积极的参与进来,深入中心来了解这每个模型的应用特点,并针对不同模型对系统的要求提出了非常贴合我们应用的解决方案。”

比24小时更长,比6小时更短

在浪潮高性能工程师和监测中心内部技术团队的共同努力下,新的刀片集群已经上线运行。王主任表示,新系统一直保持平稳运转,而借助这套高性能集群,中心已经将空气质量的预报范围从24小时提升到了世博会要求的48小时,大部分模型运算时间基本控制在了6小时以内,“绿色世博”在环境监测和预报领域获得了强有力的武器。

目前,空气质量监测预警项目已经将工作重点放在了系统的进一步优化和监测点的建设上。针对目前各节点CPU的平均利用率不高的问题,中心正在考虑引进虚拟化软件,提升运行效率,并力争将运算时间从6个小时缩减到5个小时以内。同时,在数据监测端,中心正在围绕世博会园区建设一批硬件水平更高、监测项目更广的空气质量超级检测站,配合现有的预测系统,未来,上海环境监测中心将致力于实现“一天两报”乃至“短时间预报”。