华硕与国网中心共建全国最大GPU云系统

国网中心超级计算机之背景

我国台湾地区国家高速网络与计算中心于1991年成立,简称为“国网中心”。国网中心一直努力于打造国际级高速计算中心的实力与形象,不仅拥有全台湾最丰沛的高速计算能量和高质量的学术网络资源,更不断尝试以全观的角度活用能量。另一方面,整合生活与科技应用一直是国网中心的宗旨,"Better HPC, Better Living" 就是对人、对生活、对世界的关怀,希望整合运用国网中心研发科技为各领域的生活应用加值,让科技与生活有更多对话,使科学有更多新发现、让科技不断再创新。

根据国网中心对外公开信息,可以得知“目前台湾每年约有800件学术研究计划排队使用国网中心的运算资源,等待的研究计算需求约有30~70TFlops”,可见台湾科学研究的运算需求庞大且不断提升。

华硕超算ESC4000搭建国网中心超级计算机完美解决方案

为达到国网中心最低效能要求- 50TeraFLOPS(每秒50兆次)的双精度浮点运算效能,华硕将目标订在70TeraFLOPS的运算能力,并采用2011年最新上市的ESC4000超级计算机参加此次国网中心的建置案,此台超级计算机本身具备有两个CPU与四个GPU的高密度平行运算,为了达到最优化之串联能力,华硕先行仿真八台ESC4000运算节点串联之效能,与单台ESC4000运算效能八倍后的效能比较。

由下方图表可得知仿真结果,当一台ESC4000内含两颗双 Intel® Xeon® 5600 系列处理器与三张NVIDIA® Tesla™M2050 GPU卡单独执行时,指令周期为0.95TFLOPS,串联两台为1.78TFLOPS,串联四台为3.42TFLOPS,串联八台为6.62TFLOPS,而八台的串联效率可由上列数据得知为单台ESC4000的87%。正常来说,若一台指令周期为0.95TFLOPS,八台指令周期可达7.6TFLOPS。而实际八台的运算数度模拟为6.62TFLOPS,故八台串联效率为一台的87%(6.62/7.60*100%=87%),而串联多台之效率,经由模拟验证不会低于85%。

详细数据请参考下方图表!

此次标案需求指令周期需要达到70TFLOPS以上,故由以上的模拟得知此次标案需求88个运算节点,在单台0.95TFLOPS,若有88个运算节点,指令周期可以达到72.732 TFLOPS (88*0.95*85%=71.06 TFLOPS)。华硕拥有详细仿真信息,针对此次标案进行投标,故2011年四月底的国网中心云端研发共享集群采购案中,华硕凭借其稳定的、环保的、高效性运算解决方案在此案中脱颖而出。

系统建置完成后,接着进行第三阶段系统效能调教与验收,华硕工程师进行系统架设与效能调校。效能调教过程中,需要测试四项效能,第一个是GPU+CPU效能测试,第二个是CPU效能测试,第三个是内存带宽测试,第四个是Infiniband传输速度测试。华硕工程师历经千辛万苦完成这几项测试,其中也有遇到一些困难,像是硬件需求,例如CPU、GPU卡、主板、内存、infiniband需全部一起到位,并且进行单机测试,完成后再进行整套系统的串联起来的效能验证,过程中必须根据过去华硕的经验与现场的系统情况做调整,这也是此次建置最主要面临的挑战,华硕工程师凭借着主动积极的精神,突破难关完成测试。

国网中心GPU超级计算机之架构

由此张架构图可以清楚了解到此次华硕计算机与国网中心共同建置全国最大规模云端运算系统的架构:八十八台运算节点进行数据运算,四台控制节点下达指令与串联所有节点,六台储存节点储存运算之数据与备援数据,Infiniband switch 共一百二十六的 ports串联所有节点,速度高达40Gb/s,九个Gigabit Ethernet switch串连外网之节点,连接速度为1Gb/s。而这八十八台运算节点采用华硕超级计算机ESC4000,八十八台运算节点又分两部分,其中四十八个运算节点备配48G 内存,另外四十个运算节点,内建96GB内存。六个储存节点总共具备50TB硬盘空间,其中运算节点、控制节点与储存节点之电源皆配备1+1备援电源供应器,免除维修停机的风险,另一方面,电源皆为Gold Level以上等级,提供绝佳且有效率的电源管理。

近年来,随着环保意识的加强,建置超级计算机时,除了要强调惊人的运算能力外,节能省电也是另一项重要的课题,如何投资建置高能源效率且省电的超级计算机,一直是热门话题,而如何使用最低的成本建置出超级计算机也无疑是业界所关注的。此次国网中心GPU方案也将节能省电做为重点,此系统使用强大的 CPU 和 GPU 高密度混合运算,建构成本仅须单独采用CPU超级计算机的三分之一,且耗电量仅须单独采用CPU超级计算机的四分之三。另一方面,硬设备如此高端,且仅需要两坪的空间但这台超级计算机占地,体积精简且节省空间。

华硕ESC4000为世界首创支持双 Intel® Xeon® 5600 系列处理器的2U服务器,具有8+1 PCI-E插槽的弹性扩充能力,可支持四张Nvidia® Tesla™ GPU或八张Quadro®专业绘图卡,八个 PCI-E Gen2 x16 插槽设计最多支持四个双层 GPU 运算卡以提高专业的图形运算效能,Flex-E 技术可在一个 PCI-E x16 及两个 PCI-E x8 连结之间自动切换,且双CPU与四GPU大幅提升运算效能。ESC4000超级计算机支持 18 个 DIMM 插槽及最高 48GB/144GB 高扩充性内存以因应高运算需求的应用程序。DDR3 模块提供更高的速度及更大的带宽,以及更低的耗电量。另一方面,配合智能系统风扇控制,内有三个独立的智能型系统风扇,两个用于 GPU 区域,一个用于一般主板散热,此智能系统风扇控制可依据系统负载自动调整风扇速度,使散热与省电效果达到优化,使ESC4000达到双精度浮点运算最佳耗电效率。该系统的高效率及优异效能,将为科学运算和高阶研究带来理想的解决与应用方案。

存储节点采用华硕独特研发之4U存储服务器节点,具有海量存储空间,总共20颗热插入3.5吋SAS/SATA硬盘;此存储服务器支持 18 个 DIMM 插槽及144GB高扩充性内存以因应高运算需求的应用程序,且配备1+1 Gold Level以上等级备援电源供应器,免除维修停机的风险,且提供绝佳且有效率的电源管理。而多处热抽换设计,如备援电源供应器及可抽换式硬盘及控制器模块,不关机便可方便地进行维护作业,保证系统运作的连贯性;而透过华硕Storage 管理软件的网页式远程管理方式,使用者更可节省人力和物力,实现轻松管理。

国网中心未来应用

此GPU超级计算机方案的实施,为未来规划提供云端服务。国网中心并已经启用「算图农场」服务,协助学校、电影、动画等产业算图使用,让对于需求庞大运算资源的算图工作,轻松交付给此台超级计算机系统处理,并且可以利用在其他产业上,协助更多文学创作内容产业发展。