放射医学数据”淘金”?HPC来帮忙

作为中国放射医学领域知名的研究机构,苏州大学医学部放射医学与防护学院(简称苏大放射医学院)利用苏州大学的多学科优势,集聚国内外放射医学等多学科的高端人才,着重在先进放射医学、分子影像与核医学、纳米生物医学及工程、环境放射化学、核与辐射安全等方面开展前沿研究。

为了改善和提高自身信息化应用水平,展开更加广泛的生命信息学、计算生物学以及信息技术等方面的研究与实践,苏大放射医学院与国内刀片高性能计算服务器厂商浪潮合作,2013年引入了浪潮TS10000集群系统并建立了具备国内领先水平的放射医学超级计算和研究中心,为科研人员的研究课题提供了强大计算服务平台。

随着物理、化学、信息、生物等学科的高速交叉发展,苏大放射医学院的科学计算工作越来越多,计算量也相应的急速增长,原有的高性能计算系统常常因巨量访问而超过高峰阈值的情况。在这种情况下,苏大放射医学院计划对原有的高性能计算集群进行扩容,新建的浪潮高性能计算集群将主要支持该校在放射医学院相关领域的应用研究。

放射医学的“微数据”淘金时代

分子动力学是放射医学研究中不可或缺的方法。分子动力学主要是依靠牛顿力学来模拟分子体系的运动,以在由分子体系的不同状态构成的系统中抽取大量样本数据,从而计算体系的构型积分,并以构型积分的结果为基础进一步计算体系的热力学量和其他宏观性质。目前,科学家们现在已可以通过分子动力学模拟大分子的含时性质,生物体系如蛋白质体系的性质,甚至可以用于新药的药理学研究等等。

如何从这些医学分子“微数据”中淘金是放射医学研究的重点,在淘金的过程中需要极大规模的计算机平台,其中对存储容量、存储数据安全性有很高的要求,并且对计算机的运算速度、内存容量、内存带宽、网络带宽等方面也有不同程度的需求。此外,在数据处理中如果多用户同时访问数据或访问存储介质,由并发访问和计算而造成的网络压力、磁盘I/O压力都可能从不同程度限制应用运行效率,进而影响科研进度。

软硬一体化服务提升“淘金”效率

与一般的服务器机群相比,浪潮NX5440刀片计算机采用了更加灵活和易于管理的刀片技术,构成了分布式内存的并行集群结构。利用刀片支持热拔插、具有更高的安装密度和可靠性、更低的耗电和散热量、更易于管理以及具有更低的总拥有成本等特性,浪潮天梭TS10000集群系统计算平台实现了出色的可扩展性以及对大量生物计算程序的支持,体现出了卓越且不可比拟的性能优势。

在计算系统方面,整体系统采用SMP胖节点和X86双路瘦节点相结合的混合架构方式,配置目前x86系统中计算速度最快的E5-2600V3系列处理器,计算刀片采用高性能定制化的浪潮I8000机箱。总数达到132台的双路瘦节点主要用于GROMACS、NAMD、AMBER等适合跨节点运行且扩展性能很好的分布式计算程序,而SMP胖计算节点则用于Velvet、Gaussian等适合共享大内存计算程序。不同类型计算应用需要,搭配不同类型的计算节点,充分满足计算化学、计算物理及分子动力学等大计算需求。

123

并行计算群的网络互连结构和数据存储是影响生物信息学和计算生物学程序性能的重要因素。通常的服务器机群采用1000Mb 或10000Mb 以太网互连,只能满足一般速度要求和任务并行程序的要求。而浪潮刀片系统则在所有节点之间都采用了56Gbps的InfiniBand高速互连网络,可以和传统的MPP(大规模并行处理)计算机媲美,可同时满足高通量计算和高性能并行计算应用的需要。这使得该超级计算机拥有较高的浮点运算性能,是目前苏州地区高校性能最高的超算系统。

为便于管理和访问生物序列数据库,浪潮还将所有计算节点都通过TSExaStor并行文件系统共享磁盘,并通过高速磁盘阵列确保了高性能计算对于硬盘速度和容量的需求。TSExaStor是浪潮依托“高效能服务器和存储技术国家重点试验室”,为满足高性能科学计算领域对存储的苛刻要求,自主研发的高带宽、高IOPS的统一存储系统,完全满足了Gaussian MP2等计算方法较高IO带宽要求,也让整个系统数以千计的客户端、服务器和存储设备之间实现了完全并行。同时,元数据服务器和对象数据存储在不同的设备,两个对象存储服务器采用Actice-Active方式运行。采用多控制器体系架构,具有高度安全性的特性;支持PB级容量扩展,全局统一命名空间,性能随容量的增加而线性提升。浪潮还为并行存储系统配备了自主开发的智能化、专用定制化的存储管理界面,支持图形化界面显示,支持图形化安装与部署,定制化的备份策略,可选择备份到其它文件系统,可实现存储资源的量化和用户配额制。

同时,集群系统采用浪潮自主开发的智能化、专用定制化的ClusterEngine超算云服务平台,ClusterEngine是专为浪潮天梭系列HPC集群定制的一款软件,该软件采用B/S架构,通过浏览器(IE、Firefox等)进行操作,是一套全面实现了集群的监控、管理、资源调度、报警的软件,具有更多人性化功能,可以更快的构建系统、完善应用系统、强化管理系统,提升整体集群的使用效果,提升应用效率。

除了上述之外,浪潮还提供了独具特色的应用特征分析软件天眼及行业领先的应用调优服务体系,帮助苏大放射医学院解决应用瓶颈和计算程序算法二次开发热点分析服务。

苏大放射医学院高性能计算平台负责人表示,“浪潮在医学领域的专业应用调优服务和丰富的异构架构的应用移植经验是我们选择浪潮的原因所在。”他对浪潮天眼印象深刻,认为它在计算、IO、网络、内存四个维度的基础上细化出包括实时内存读取带宽在内的40余项应用特征指标,实现了对软件应用的特征更为精确的量化刻画和分析,能够方便地察看任务负载、CPU利用率、网络、内存、存储的使用情况以及当前系统整体运行状态或单个节点的运行状态。而且当对天眼工具分析的结果疑惑时,浪潮应用团队可以提供专业的分析和定位服务,“这种专业增值服务很好的解决了我们的后顾之忧,让整个研究团队可以专注于科学研究之中。”