【2014年11月25日,北京】IBM(NYSE: IBM)公司近日宣布,IBM已获得美国能源部价值3.25亿美元的合同,为劳伦斯•利弗莫尔国家实验室和橡树岭国家实验室开发和部署全世界最先进的“以数据为中心”超级计算机系统,从而推动科学、工程与国防安全领域的创新与研发。IBM的新系统采用“以数据为中心”的方法,使数据存在哪里计算能力就在哪里,从而使数据流动和能耗降至最低。
这些基于OpenPOWER技术的系统可使数据流动及能耗降至最低,提供具备高成本效益的建模、模拟和大数据分析技术。
(左起)橡树岭国家实验室主任Thom Mason博士;IBM研究部高级副总裁兼主任John E. Kelly III博士;劳伦斯•利弗莫尔国家实验室主任Bill Goldstein博士。(Rich Riggins/IBM的图片服务提供商)
在大数据快速增长的背景下,大数据管理的重要性日益提高,这提升了科学家获得新发现的机会,但同时也加剧了他们面临的挑战。全世界每天产生超过25亿GB数据(相当于2.5亿个足球场容纳的书籍所含的信息量),为此我们需要全新的超级计算的方法。
目前的计算方法通过在存储器与处理器之间反复调动数据来分析和获得数据洞察。然而,随着大数据极速增长,大规模且频繁的数据移动会耗费极大量的时间和能源,这个方法因而变得不可维系。由于数据移动和数据管理占据计算基础架构极大的空间,仅仅将设计重点放在更快的微处理器上的惯常做法也变得不再可行。
为解决这个问题,IBM研究人员在过去五年里开创了一种名为“以数据为中心”的全新方法。新架构将计算能力嵌在系统里的数据所在地,充分考虑到分析、建模、可视化和模拟能力的融合,从而以令人难以置信的速度促进新洞察的产生。
IBM OpenPOWER系统为两个实验室提升速度和能源效益
在两个实验室看来,由于采用创新的“以数据为中心”方法,新的IBM超级计算机将成为速度最快和能效最高的系统之一。每个实验室系统在商业和高性能计算应用方面的性能有望达到原系统的5-10倍,能源效率也将在原系统5倍以上。
这些基于OpenPOWER的系统将通过“以数据为中心”计算架构来提供领先于业界、具有高成本效益的大数据建模、模拟、应用和分析技术。部署于劳伦斯•利弗莫尔国家实验室的“山脉”(“Sierra”)超级计算机和部署于橡树岭国家实验室的“山峰”(“Summit”)超级计算机的峰值性能都将远超100 petaflop(千万亿次浮点运算/秒)。此外,超过5PB的动态内存和闪存也将提升“以数据为中心”应用的性能。如需要,这些系统可以以高于每秒17PB的速度(相当于在一秒内移动Facebook上的1000亿张照片)将数据移动到处理器,从而提升获得洞察的速度。
这两个国家实验室允许来自学术界、政府和产业界的研究人员访问其开放的计算机,以克服科学和工程领域的重大挑战。在以往,这些实验室计算机的优化都是为了更好地利用建模和模拟技术解决科学问题。但随着研究进程在医疗卫生、基因组学、经济学、金融系统、社会行为、数据集可视化等领域的持续推进,研究人员对这些研究项目的技术需求越发提高。因此,为解决诸多世界难题,计算系统需要提供数据管理、数据分类以及有用信息提取等服务。
IBM极具开创性的“以数据为中心”架构对科学、国防应用以及医疗、制造、工程、石油、天然气等行业具有革新意义。“山脉”和“山峰”系统在核心应用上的运用证明美国能源部将要开启百万兆级计算(Exascale)宏伟蓝图的另一个重要阶段。
利用OpenPOWER技术的开放方法
为了生成、访问、管理和操作无论在数量或种类上都空前之多的数据,我们需要改变传统计算的属性,使其建立在开放的技术平台之上。企业需要从系统设计到制定决策的整体过程中迎接数据所赋予的挑战。这意味着企业要从数据“诞生”开始审视数据,经过由方案驱动的工作流以及形成洞察的整个周期。这需要企业从数据准备开始,经历数据处理和数据可视化的过程,并经过多次反复。
将OpenPOWER技术融入模块化集成系统的做法将帮助劳伦斯•利弗莫尔国家实验室和橡树岭国家实验室根据其具体需要对“山脉”和“山峰”系统配置进行定制。
NVIDIA与IBM合作,开发了先进的NVIDIA NVLink互连技术,该技术将使CPU和GPU能够以比现在快5-12倍的速度进行数据交换。NVIDIA NVLink技术将应用于IBM POWER CPU和下一代基于NVIDIA Volta™架构的NVIDIA GPU,使“山脉”和“山峰”能够达到前所未有的性能水平。此外,IBM正与Mellanox联手研发一种非常先进的包含内置智能的互连技术,从而提升数据处理能力。
IBM全球高级副总裁、系统与科技部总经理Tom Rosamilia先生表示:“在数据量极速增长的背景下,传统超级计算的方法不再可行,今天的新闻发布标志着这些传统方法的重大转变。IBM‘以数据为中心’的方法是一种全新的计算范例,它代表着开放计算平台的未来,并能应对数据量加快增长的挑战。IBM为劳伦斯利•弗莫尔和橡树岭国家实验室开发的系统具备卓越的性能,其核心技术目前可供不同行业各种规模的公司使用。”
IBM现在向客户提供的“以数据为中心”技术包括IBM POWER8、IBM 弹性存储服务器(IBM Elastic Storage Server)、IBM 弹性存储软件(基于GPFS技术)和IBM Platform Computing软件。
围绕这些新系统,IBM研究院将与劳伦斯•利弗莫尔国家实验室和橡树岭国家实验室开展科学项目方面的合作,通过开发相关工具和技术来优化代码,从而最大程度地开发新系统的性能。
虽然利用Power Systems和OpenPOWER技术的计划的编程工作已经开始,但这些新系统在上述国家实验室的部署和安装工作预计要到2017-2018年才能完成。