IBM Platform Computing:向商业计算进发

DOSERV服务器在线 11月6日原创报道: IBM Platform Computing全球开发总监王敬文博士表示,在IBM收购Platform Computing之后,正在大力推动将该公司在高性能计算、分布式计算领域的技术、专利与经验,推广到更多的商用领域,以分布式、多台设备计算的方式,提高现有计算方式的性能和效率。

王敬文谈到,目前Platform Computing在IBM内部仍然以独立部门的角色运作,归属于IBM系统与科技部管辖,作为系统软件供应商,Platform Computing在IBM系统与科技部内运营,仍然能够保持“作为技术运算领域重要的系统软件”的独立地位,并“为客户增加更多的价值”。

作为“高性能计算领域的事实标准”,Platform Computing的软件平台一直在以分布式计算为代表的高性能计算领域占据主流地位,可以说“几乎所有行业内只要使用HPC的大企业,都在不同程度上使用Platform Computing的产品”,据王敬文介绍,在收购之前Platform Computing在全球有2000家客户,包括“全球最大的30家企业中的23家”都在使用其产品。

在收购之前,Platform Computing在全球就已经拥有400多名软件开发和技术支持人员,而在收购之后,该公司“在中国有战略性的扩大”了其软件开发和技术支持人员达280多名,王敬文认为,中国市场发展的非常快,在高性能计算、分布式计算以及其它尖端计算领域有着旺盛的需求,中国市场的发展伴随着技术的发展、设计需求的发展,中国正在像汽车行业、IT行业在内的多个行业实现自主的设计和自主的生产,“这让中国在设计、分析方面的需求今后会大大的增长。”

IBM Platform Computing产品体系架构

他认为,无论是Platform Computing过去的开发软件的核心思想还是未来的技术开发与产品发展战略,都与中国市场的对高性能、分布式计算以及尖端设计、制造等方面的需求有极其紧密的结合之处,而在进入IBM之后,Platform Computing不仅所有的客户、产品和开发思路都被保留,更能够与IBM的其它产品——硬件、软件或是服务——实现更好的集成:“我们进入IBM以后,其他的各个部门都需要我们,所以说是非常好的结合。”

IBM Platform Computing 全球开发总监王敬文博士

IBM系统与科技部大中华区新兴业务销售总经理陈伸一

王敬文:保持核心思想 开拓发展思路

“IBM Platform Computing软件的核心思想。概念很简单,就是把成千上万台计算机能够当作一台来使用,而且能够当作一台来管理。”王敬文表示,单台计算机的性能存在瓶颈,对于很多大型企业来说,企业内部都有成百上千,甚至上万台计算设备,这些设备每个都有独立的操作系统、硬件架构和软件环境,“每个操作系统都不会主动的和其他的计算机进行联合计算,调度、协调的去完成应用(的性能需求)”,因此企业需要在分散的资源之间,建立起一个管理系统层来实现统一的管理。

“重要的是,可以让你把全部的机器当做一台计算机来使用和管理。”王敬文表示,IBM Platform Computing在这一概念上的三个层次中做到的都是行业内最出色的技术,无论是在资源整合——把分散的计算资源从逻辑上整合起来,资源分配——按需分配和按照优先级来配置,资源访问——通过软件层面的解决方式让应用可以在不同计算机上运行,IBM Platform Computing所做的都是行业领先的,他表示,“把多台计算机整合起来为企业打造高效的计算、分析和管理平台”就是IBM Platform Computing的价值所在。

王敬文表示:“如果把很多计算机组合起来很高效的使用就必须使用IBM Platform Computing技术。”

但他也表示,随着高性能计算、分布式计算技术的使用范围越来越广,IBM Platform Computing的发展思路也有了进一步的拓宽,现在该公司的发展思路概括说来包括三个部分:1、推动HPC的商用,推动技术运算在主流行业的普及;2、提供支持HPC的云管理模式;3、为新兴商业分析和大数据分析应用提供支持。

王敬文表示,尤其是第三点是当下最热门的话题,也是IBM Platform Computing和IBM在不断创新的领域,他认为大数据与实时的数据分析是未来资源密集型计算的重要领域和价值增长点,因此,像IBM IBM Platform Symphony这样创新的并行SOA架构将在未来——包括MapReduce——上有很大的发展。

“IBM Platform Computing的产品不一定都用在高性能计算上,但关键是要接受分布式计算的理念,是需要分布式的计算的环境。”王敬文表示,IBM Platform Computing现在的主要工作,是把原本在技术上计算上的经验、技术和知识产权,进一步的商业化、通用化,“从传统HPC到各行各业”中去。

而在行业领域,王敬文表示,金融服务、制造、电子、石油、科研、政府/情报、生物学和药品研究上,都有IBM Platform Computing发挥其技术和产品优势的领域。

产品全面 解决计算融合问题

在产品方面,IBM Platform Computing的产品一直被认为与HPC息息相关,或者说,都是“有关高性能计算的产品”,但王敬文认为,IBM Platform Computing的产品更重要的是产生一种“纽带和接合”作用,把应用与硬件设备、虚拟化系统、操作系统结合在一起,发挥基础平台的最大价值。因此,IBM Platform Computing的产品实际上的定位是“应用管理中间件”和“动态集群管理软件”。

据王敬文介绍,IBM Platform Computing目前的产品主要分为三大类五个产品线,其中包括:

1、 集群管理,其中提供动态集群管理、自助云服务界面和调度以及Platform Cluster Manager Advanced Edition等功能和产品。

2、 Platform LSF分布式批处理应用管理平台,主要面向工程计算,与之相的有Platform MPI、Platform 作业流等产品

3、 Platform Symphony 并行SOA,作为分析类应用管理平台(如随机模型计算,并行计算)提供对并行SOA API(经济模型的管理)、Hadoop API(大数据)等的支持。

如果从产品方面来看,其主要是五个产品系列:

1、 IBM Platform LSF,工作负载管理平台,用于要求苛刻的分布式 HPC 环境。

2、 IBM Platform HPC,IBM Platform Computing最著名的产品,是在单一产品中提供的完整的高性能计算管理解决方案。它包含广泛的即取即用的集群和工作负载管理功能。

3、 IBM Platform Symphony,企业级管理,用于在可扩展的共享网格上运行计算和数据密集型分布式应用程序。它可加速数十个并行应用程序,以加快实现成果并更好地利用所有可用资源——这是IBM Platform Computing目前与大数据、商业实时分析结合最紧密的产品之一。

4、 IBM Platform MPI,消息传递接口 (MPI) 的高性能实现,旨在加速分布式计算环境中的应用程序。

5、 IBM Platform Cluster Manager:通过基于 Web 的直观界面支持管理员快速轻松地供应、管理和监控 HPC 集群和云。各种广泛的功能支持多样化的客户环境。

王敬文表示,总的来说IBM Platform Computing的产品致力于解决三类问题:1、减少复杂性,推进高性能计算、分布式计算在主流市场的普及;2、开拓对新型应用的支持,加速商业分析和大数据计算——Symphony与之息息相关;3、支持资源动态化,实现云管理模式——这也是IBM Platform Computing将其之前在分布式系统上的统一管理经验下移到商用计算的实现。

“新兴应用需要全新的软件结构,有限元计算已经不够,经济、商业都是随机的,很多是不可确定的,但是,在这其中也有规律,规律是可以被发现的。”王敬文认为,现在的计算环境、商业环境都非常复杂,很多时候只是看性能,“性能要好,但是要强调其它方面,比如说应用集成、资源共享,同样是这个环境的一部分。”此外,还要开拓对新型应用的支持;要有分析模型、数据模型;云的支持也同样重要,也需要IBM Platform Computing去推动。

在谈到IBM Platform Computing与云计算的相关性时,王敬文谈到了Platform Cluster Manager Advanced Edition:“(Platform Cluster Manager Advanced Edition)就是在集群的管理,但它是动态化的,能够把它动态的按需分配,提供不同类型的应用,有汽车设计的、有金融分析的、有生物医学研究的等等。能够动态的分割两个整体的资源,用完以后再回收回来,这就可以实现云计算的目的。”

王敬文也谈到,在大数据和商业实时分析上,IBM Platform Computing同样也具有极强的前瞻性,甚至于像IBM Platform Symphony这样的产品,已经是十年前就存在的解决方案,现在通过对其子集与不同功能的扩充,IBM Platform Computing能够把这些长期领先的技术与产品,放置到像是大数据分析这样的环境中,创造价值。

大数据时代的IBM Platform Computing

“我们Symphony是十年前发明的,实现了Parallel SOA结构。其实很简单,就是有一个客户端不断的给它喂数据,然后服务器端有成千上万的服务在接收数据,最后把数据汇总起来,应用结果就出来了。”王敬文对IBM Platform Symphony的轻描淡写,并不能盖过这个并行SOA架构所实现的高性能,这是可以让“一个应用包含数以万计的服务器端调用的”Parallel SOA架构。

据王敬文介绍,IBM Platform Symphony目前在一个机群内可以架构多达四万个核心,300个并行SOA应用共享,1毫秒的任务延迟时间,17000秒任务调用吞吐量,每个应用可以驱动多达一万个服务器端程序调用,在大数据时代之前,就已经是“金融行业公认的最强大的风险分析应用支持平台”。

IBM Platform Symphony并行SOA架构

而随着大数据时代的到来,IBM Platform Symphony在几年前推出了一个新的MapReduce子集,王敬文表示,IBM Platform Symphony是当下大数据时代非常有效的一个MapReduce应用加速平台,它可加速数十个并行应用程序,以加快实现成果并更好地利用所有可用资源。

我们知道,对于支持网格的应用程序,最大化性能和规模是关键。但某些网格产品强制限制架构,要求特定的操作系统或者特定的开发者工具。面对严峻的经济压力,企业用户都希望有更好的方式来改善 IT 性能、减少基础架构成本和开支,并满足更快找到答案的需求。而利用优先级更改时灵活的适应性,IBM Platform Symphony 可以依据您定义的策略和优先级,每秒将 1000 余个计算引擎重新分配到不同的工作负载。

而在Advanced Edition中,IBM Platform Symphony包含兼容 Apache Hadoop 的 MapReduce 实施,针对低延迟、可靠性和资源共享进行优化。开放源码解决方案不具备自动重新启动失败的服务的功能,与之不同的是,该功能内置于 Platform Symphony 的 MapReduce 实施中,从而提高了可靠性。

另一方面,IBM Platform Symphony支持各种类型的数据,与开源的MapReduce只支持开源的HDFS不同,IBM Platform Symphony支持包括IBM GPFS、HDFS、数据仓库以及其他数据来源和输出端,甚至“数据的输入端和输出目标的类型可以不同”。

而谈到与Hadoop的关系,王敬文表示,“Hadoop的MapReduce不是竞争关系”,他表示,Hadoop的 MapReduce现在是一个实际上的编程标准,IBM Platform Symphony与之是相兼容的,在Hadoop上已经写好了的程序代码,在IBM Platform Symphony的加速环境中“根本不需要改一行的代码”。

“(IBM Platform Symphony)并不是和Hadoop竞争,是实现了更好的Hadoop。IBM我们的大数据也是用的Hadoop,现在只是用了Symphony把Hadoop加速了,没有竞争关系。”王敬文表示,IBM Platform Symphony与Hadoop是一种加速与被加速的和协同关系。

对于处理“大数据”来说,最有发展前景的技术之一是Apache Hadoop软件和MapReduce框架。然而,现有的Hadoop软件还缺少金融服务企业大规模部署MapReduce应用时所需的企业级鲁棒性。IBM Platform Symphony MapReduce是一款拥有增强版MapReduce框架的企业级产品,其功能与Apache Hadoop的功能完全兼容,解决了组织机构在目前可用的ApacheHadoop环境里部署MapReduce应用所面临的主要运行风险。

除此以外,根据资料显示,IBM Platform Symphony MapReduce采用开放式架构,支持多种MapReduce应用,确保Hadoop应用与基于Java的MapReduce作业之间百分之百的兼容性。与此同时,其为Hadoop文件系统提供了在Hadoop分布式文件系统里自动实现故障切换的功能,并提供了文件系统恢复和相关作业恢复功能。

在谈到IBM Platform Computing的中国发展时,IBM系统与科技部大中华区新兴业务销售总经理陈伸一表示,受限于原来的销售体系和销售团队的规模,IBM Platform Computing原来在中国主要是固守在传统的高性能计算领域,即便是在石油石化、航空航天领域已经销售了十年,但销售范围仍然十分有限,在进入IBM之后,技术计算商用化、普及化的速度将快速提高。

“进入IBM以后,IBM的销售队伍非常强大,覆盖非常广阔。举个例子来讲,在中国,我们进入了半导体行业,进入了生命科学基因研究领域,进入汽车制造业领域。另外两个领域是金融、电信,还有刚才讲的政务。”陈伸一表示,除了高性能计算中心,IBM Platform Computing将在IBM的集团优势下,继续发展高端制造、金融电信、航空航天等行业,并将业务拓展到精密仿真、数据实时分析等等领域中去。