12月13日,阿里云计算平台负责人贾扬清在Flink Forward Asia 2020峰会上指出,拥抱“融合”是大数据演进的新方向,大数据和人工智能一体化是必然趋势,而人工智能是大数据业务发展的终极出口。同时,他从不同角度讨论了Flink的开源技术,以及云时代下开源技术的发展和未来思考。
Flink开源社区 “渐入佳境”
从一个普通开源技术爱好者视角,贾扬清将2020年Flink发展定义为“渐入佳境”,主要体现在三大方面:
● 技术。今年Flink在技术方面取得两大新突破:一是Flink流批一体技术在阿里双11核心数据业务场景规模化成功应用; 二是Flink实时计算峰值首次突破40亿条/秒。同比去年,不增加集群规模情况下提升了一倍的计算性能。
● 应用。Flink不再是一个居庙堂之高的技术,而是成为开源流式处理的事实标准,飞入“寻常百姓家”。比如中国信通院使用了Flink作为技术蓝本设计流式处理标准,云计算公司包括阿里云等均使用Flink作为流式处理的底层引擎。
● 社群。Flink开源社区高速增长,登顶Apache最活跃的邮件列表; Flink项目是Github提交次数最多的Apache顶级项目之一。去年Flink Forward Asia 参会人数达2000人,Flink 极客挑战赛吸引了4000+开发者参与;今年大会切换到线上、线下同时举办,Flink 极客挑战赛的颁奖更让大家看到了越来越多开发者对于开源技术的热情以及勇于挑战的精神。
开源让云更标准化
贾扬清认为:开源让云更标准化。他提到,云计算越来越趋于标准化对其自身发展非常有利。云上大量的开发技术体系日趋一致,这意味着大量云计算开发者熟悉这套体系后更容易把自己的应用变成云的一部分。
开源有助于阿里云打破自有技术体系,在充分尊重用户原有使用习惯基础上,形成标准、开放、公共的技术体系。单靠一家公司去制定标准非常难。
阿里云对于开源意味着什么?贾扬清提到以下三点:
● 从组织来看,去年阿里巴巴集团成立开源技术委员会,从集团层面统一梳理和推进阿里巴巴开源技术战略的执行。
● 从参与度来看,阿里巴巴集团一开始就广泛采用开源技术构建自己的技术体系。以阿里云计算平台事业部大数据产品为例,比如实时计算 Flink都在大量使用Hadoop/K8S生态的技术;机器学习PAI同样使用TensorFlow等开源深度学习框架。
● 从贡献度来看,阿里巴巴集团持续为开源社区贡献力量。以Flink技术社区为例,仅去年一年阿里云就贡献百万行代码给Apache Flink社区。当前,集团开源项目数已超过1000个,覆盖大数据、AI、云原生、数据库、中间件、硬件等多个领域,全世界有70多万开发者为阿里点亮GitHub Star,成千上万的爱好者参与到项目贡献之中。
拥抱“融合”是大数据演进的新方向
贾扬清表示,云的三大发展趋势主要是IT基础设施的云化、核心技术的互联网化、应用的数据化和智能化,这也是云的核心价值所在。
企业在IT上云和业务互联网化之后,其应用必将从流程驱动变为数据智能驱动,实现数据化和智能化。云计算、底层IaaS技术在比拼基础设施的成熟度、稳定性和价格,而上层PaaS技术要比的是数据能力、智能能力。
目前包括数据库、IOT等泛大数据仍然处于大数据最基础的使用方式,需要整合更多大数据和AI能力。
所以,拥抱“融合”是大数据演进的新方向,大数据+人工智能一体化是大数据发展的必然方向,而人工智能是大数据业务发展的终极出口 。
只有AI化,大数据才能发挥真正的业务价值。阿里云大数据之所以有核心竞争力,就是因为大数据是结合AI能力的大数据,是智能化升级的大数据。比如Flink+Alink,Flink不仅能够提供流批一体的处理能力,还能借助已开源的Alink机器学习算法库,实现Flink的大数据+人工智能一体化。
未来,社会经济将与互联网更加融合,企业机构的业务也将全面转变为互联网业务。一个企业仅仅有IT基础设施并不够,企业应用也将实现从流程驱动变为数据智能驱动,阿里云计算平台将输出全栈大数据技术能力,并提供全球顶尖的AI技术,一起实现数据化和智能化。
