IBM力推Spark项目,计划培养100多万数据科学家

6月16日,IBM宣布承诺大力推进Apache Spark项目,并称该项目为:在以数据为主导的,未来十年最为重要的新的开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台,并将Spark作为一项服务,在IBM Bluemix平台上提供给客户。IBM还将投入超过3500名研究和开发人员在全球十余个实验室开展与Spark相关的项目,并将为Spark开源生态系统无偿提供突破性的机器学习技术——IBM SystemML,同时,IBM还将培养超过100万名Spark数据科学家和数据工程师。

从流行的应用程序到物联网,数据与分析已经深深的嵌入到商业和社会的组织机构之中,Spark无疑为大规模数据处理带来了革命性的突破。首先,它极大的提升了数据依赖型应用程序的性能;其次,它从根本上简化了由数据驱动的智能应用程序的开发流程。

为了加速Spark生态系统的开源创新进程,IBM将采取如下具体措施:

IBM将把Spark构建在自有的分析与商务平台的核心中。

IBM将对IBM突破性的IBM SystemML机器学习技术开源,并与Databricks协作提高Spark的机器学习能力。

IBM将把Spark作为一项服务在Bluemix平台上提供给客户,任何开发人员都可以快速加载数据、建模,并导出预测性工具用于他们的应用程序。

IBM将投入超过3500名IBM研究和开发人员在全球十余个实验室开展与Spark相关的项目,并在旧金山设立Spark技术中心,帮助数据科学与开发者社区在开发智能应用时,实现以设计为先导的创新。

IBM将通过与AMPLab、DataCamp、MetiStream、Galvanize 和MOOC,等多种合作方式,培养至少100万名Spark数据科学家和数据工程师。

IBM大中华区大数据与分析事业部总经理钟泽敏表示:“在开源创新领域IBM已经引领行业十年之久。我们深信开源的力量是为客户创造价值的源泉,我们将全力支持Spark,将其作为推动分析的基础性技术平台,从根本上推动所有业务领域加速创新。我们将帮助客户部署和利用Spark推动数据战略,以实现业务转型和差异化竞争,并从中获益。”

Spark具有敏捷快速,便于应用的特征。良好的开源属性使其可以在全球范围内持续改进。在接下来的几个月里,IBM的科学家和工程师将与Apache Spark开放社区合作,迅速推动先进机器学习技术的普及,并加快智能业务应用开发的创新速度。通过无偿提供SystemML,IBM将帮助数据科学家提高迭代速度以应对不断变化的业务需求,并为不断发展壮大的应用程序开发人员生态系统提供支持,使智能技术在所有领域得到深度应用。