南京大学高性能计算中心架构揭秘

确定了选择刀片服务器之后，通过招标南京大学选择了IBM BladeCenter HS22刀片服务器作为高性能计算系统的计算节点。整个系统由10个登陆节点，4个管理节点，54TB高速并行存储、128TB SAN架构存储以及4x Infiniband全线速网络、千兆作业调度管理网络等构成。

南京大学高性能计算中心系统架构图

据周老师介绍，全套系统由402片HS22刀片服务器构成，每节点12GB内存，2颗英特尔至 强5500系列处理器（主频2.66GHz，8MB Cache），20Gb Infiniband HCA卡。其中有10片HS22刀片服务器用作登陆节点，每节点24GB内存，4Gb光纤卡，20Gb Infiniband以及千兆网卡。另有30台刀片机箱与上述计算节点配套，拥有16口Infiniband交换模块、六口千兆交换机和两个百兆管理网 口。

存储和管理方面，南大高性能计算中心选择了20台IBM x3650做存储节点，每节点配置32GB内存，20Gb Inifiniband卡，6块450GB 15000转SAS盘，共54TB组成并行存储系统，连续读写I/O大于每秒6GB。另有一台IBM DS3000 SAN架构官仙共享存储系统共128TB容量容量，配备16GB Cache，两个8口光纤卡，连续读写带宽大于每秒2GB。此外，还有一台x3550用作集群管理监控节点，3台x3650用作管理和作业调度节点。

网络交换方面，周老师介绍说他们采用了两台288口20Gb 4x Infiniband交换机（当时还没有成熟的40Gb Infiniband交换设别），组成全线速无阻塞并行计算网络。此外还有四台4口万兆上行48口BNT的交换机用作作业调度和管理。

▲南京大学高性能计算系统逻辑架构图

对于刀片服务器的散热和供电是重中之重，南大高性能计算中心采用了4台90千瓦制冷量的艾默生LibertPex机房精密空调，120千瓦UPS拥 有96节汤式100AH电池，可在断电的情况下维持数据中心1小时时间，足够工作负载暂停和系统正常关闭。此外，南京大学高性能中心还配备了三个配电柜， 提供500KVA机房电力增容，一套七氟丙烷气体消防灭火系统为机房提供消防保障。