据世界卫生组织统计,全世界癌症发病率正以每年3%的速度递增,全世界每年因癌症而死亡的人数已达600多万人。癌症已经严重威胁人类生命健康,也成为国际医学界主要的研究和攻克对象。
从医学研究的角度来看,癌症研究目前主要从药物研究、致癌机理、基因学等不同角度在进行。而不论是基因研究还是药物研究都需要大量的模拟计算。对人类基因排序将成为科学家治愈癌症的有效手段。历时数年、耗资38亿美元、迄今为止生物学领域最大的人类基因工程已经使对人类基因进行排序成为可能,借助先进的技术手段,科学家仅需一个月就可以完成一次人类基因排序。
英国癌症研究所剑桥研究院(CRI)是癌症研究领域的领导者,拥有450名科学家和员工,一直致力于癌症的诊断、治疗和预防方面的研究。科学家认为,弄清楚基因改变的原因有助于了解癌症的发展变化以及它对各种药物的反应,为此,CRI近期安装了新一代的基因序列发生器以研究基因改变对癌症的影响。然而这个新的基因序列发生器每周都产生大量的数据,这远远超出了CRI现有IT系统的处理能力。显然,要想充分利用这些数据的价值,CRI必须升级其IT基础架构以提供更强的处理能力,加速肿瘤研究的进程。
CRI评估了多种数据处理解决,超级计算机因费用昂贵直接被排除在考虑范围之外。该研究所的IT与科学计算部门主管Peter Maccallum先生说:“CRI作为慈善机构,必须采用最具成本效益的解决方案。对任何IT部门来说,降低成本都是至关紧要的,而对CRI来说,这一点更重要,因为在IT系统上节省的资金越多,投入到核心研究项目上的经费也就越多。”
在对开源解决方案进行评估之后,CRI决定选用Platform Computing公司的高性能计算(HPC)软件。Maccallum表示:“开源解决方案很复杂,安装所需的时间也很长,不适合我们的需求。而Platform LSF是一个非常好的解决方案,它可以快速部署,并且很便于管理,这是我们采用这个软件主要原因”。
Platform LSF是Platform为高性能计算领域推出的集群管理系统,支持异构的、分布式的计算环境,为用户提供可靠的集群管理、负载共享、复杂的作业管理及调度功能和大规模并行计算的能力,能帮助用户最大限度提高关键型任务环境的生产效率。CRI在由HP C7000 刀片服务器和Dell 460刀片服务器构成的高性能计算集群上安装部署了Platform LSF。实际结果显示,Platform LSF很好地帮助CRI解决了大型、复杂作业的调度,保证了整个集群的负载平衡,实现了以下目标:
用Platform LSF进行集群管理,提高了集群的效率,为CRI开辟了新的研究领域,帮助CRI了解癌症的发展变化以及其抗药性。
仅需很少的支持或者人工干预就能保证负载管理系统的正常运行,降低了对员工的要求,节省了人力。
通过平衡需求和可用的计算资源,计算集群管理能够很好地处理应用程序的工作量,这样CRI的IT系统就能够轻松处理海量的研究数据。
Platform LSF可以随着CRI负载的增加而扩展,这使得它能很好地满足未来研究的需求。
集群解决方案实现了资源共享,避免了为各研究小组重复配置资源,节省了约50,000英镑的成本。PlatformLSF是一个工作负载管理软件,它以动态调配的方式运行研究人员的应用软件,它的负载调度可充分利用数据中心的服务器集群,这使得CRI的全部21个研究小组都可以共享整个服务器集群。过去,每一个研究小组都拥有自己的计算资源,这使得服务器的成本增加、系统的利用率降低,也增加了维护费用和复杂性。采用共享服务器的方式后,节省了重复购买硬件和维护的费用,降低了维护经费和繁杂性。
Platform LSF的调度方案通过保证研究小组或研究工作的资源量,确保机构达到服务水平协议。它的公平分享政策可以使每个小组和用户得到公平的资源分享,在指定时间内确保他们得到研究中所需的计算能力。
Platform LSF带来的最大好处是帮助我们开拓了新的研究领域。现在我们有很好的方法来产生和管理庞大的基因序列数据,这在以前是完全不可想象的。借助Platform LSF软件,我们已经在乳腺癌研究方面取得了显著的进展,同时,我们的研究人员也可以更好地认识癌症的发展过程。” Maccallum先生说。为了加强利用高性能集群来处理大数据集方面的合作,目前CRI正在与Platform Computing合作,建立跨组织机构间的集群系统。未来,CRI还计划扩展Platform LSF,以根据研究工作对计算能力的需求增添更多的服务器。