华为FusionData智能数据解决方案三大组件破解三大数据难题

2017年12月,华为发布新的愿景和使命—把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。这家ICT巨头对IT业务的重视程度上升了一个新的层次,对于数据,对于数据智能相关的技术,包括云计算,AI,大数据等相关技术也越发重视。

2019年6月5日,华为发布智能数据解决方案FusionData,这是一个智能的数据全生命周期管理方案,从数据接入、数据处理和数据使能三个层面,重定义数据基础设施。这次发布,并不是从无到有的宣布重大技术产品,而是多种现有方案的一个整合方案,意在突出华为数据智能服务能力,与华为整体愿景有契合度。

这次发布会,凸显了华为对于数据智能,对于数据智能产品领域的重视,以及华为在当下的状态,置身于发布会现场,能感觉到现场的氛围不同于以往的许多类似活动。

首先,从华为Cloud & AI产品与服务总裁侯金龙的一番谈话中能感受到,多年来华为积累的技术能力,正在涌现为创新与颠覆的力量,全新的智能数据解决方案FusionData所强调的重新定义和重新塑造与以往的含义更深,有意跳出现有的计算架构,重新构建大数据时代的架构,在成本、效率、管理和使用上都带来变化。

另外,有感于在这次发布会现场见到了华为多位高层,笔者看到,就连从没参与过产品发布的华为EBG中国区总裁蔡英华也首次参与了这次大会,有熟悉华为的资深媒体人士认为,这一现象可见华为的内部协同做的更好了。不久前,有媒体在采访任正非时闻到如何看待华为现在的状态,任正非则表示,面对一些外部的挑战压力,华为的状态更好了。

此次发布的新解决方案,华为渲染了数据库的概念,智能数据解决方案FusionData是构建数据湖能力的重要基础,华为对于数据湖的理解,是在未来,让一家企业有一个数据湖,一座城市有一个数据湖,以此满足居民的生产与生活、企业的运营和发展、城市政府的管理和服务等各项需求。

重构数据基础设施可破解三大数据应用难题

华为IT产品线副总裁、智能数据与存储领域总裁周跃峰将大数据时代,数据应用面临的问题总结为三大难题:数据接入难,融合分析难和消费难,三大难题难在哪儿呢?

首先,数据接入端需要接入非常多的接入点,一家大型企业可能需要上万个接入点,而且数据接口协议不同意,经常需要做协议转化,拉长了数据的接入周期。

融合分析方面,现有的系统非常复杂,包括分享预防、产品定价、智慧物流等系统各自有相对独立的垂直架构,烟囱式建设的系统间,进行融合分析时,数据分析链路长,多系统集成难度非常大,导致开发周期长。

最后在数据使用阶段,当数据量非常大的时候,在茫茫多的数据中找目标数据无异于大海捞针,当从130多万张表中找寻目标数据,大概需要三十天的时间,找到数据后,还需要把数据加工成业务可用的数据,耗时也非常久。

华为提出应该用新的架构来重构数据的基础设施,周跃峰将这一架构概括为五层:

底层是计算能力,用多样计算能力匹配多样的数据,多样的计算能力指的是x86,ARM,GPU,NPU这样不同架构。

数据接入层,要引入多样性的数据连接,加速数据流动,让数据与应用连接的更高效。

数据存储层,从单一类型存储变为多样性的融合存储,打造融合处理数据,以此提升效率。

数据处理层,要变单一处理为智能融合处理,同时对多种数据进行综合分析,数据分析考虑不同数据的相关性。

最后是数据使能层,在功能定位上类似于现在比较火的数据中台的概念,联通数据处理与业务创新,供各行各业的应用开发合作伙伴使用。

华为的产品线比较齐全,使得他可以从五个层次入手,解决三大数据难题。

智能数据解决方案FusionData三大部件

智能数据解决方案FusionData将五层数据基础架构概括为三层,也可以叫做FusionData的三大部件:数据接入部件,数据处理部件和数据使能部件。

第一大部件:数据接入部件。

数据接入方面,颇有韩信点兵多多益善的意思。华为智能数据连接部件ROMA首先强调开放性,可接入多种框架,可接入一千一百多种应用与数据。管理方面,消息和API采用统一的方式进行管理,实现多云跨数据中心的数据调度管理,另外,还将采用智能多通道技术加快数据流动速,快速将数据汇聚起来。

第二大部件:数据处理部件。

数据处理的部分其实包含了计算,存储和分析三方面的能力,整合了华为IT技术部分比较核心的资产,可以说,FusionData是将华为多种数据Fusion(这里主要指的是FusionStorage和FusionInsight)能力深度Fusion(融合)在了一个方案里。

计算方面除了x86,GPU以外,华为自己在大力构建基于ARM的计算以及存储产品。存储系统方面,华为存储FusionStorage 8.0用一套存储系统同时多种存储场景,一套设备支持数据全生命周期场景,此外,对应还有最近发布的GaussDB数据库。分析方面主要就是华为的FusionInsight了。

首先,从存储的角度看。这套系统得益于分布式存储能将计算和存储分离的特性,从业务应用的维度打破了上文提到的烟囱式系统架构带来的问题,应用间彼此割裂,底层数据有孤岛,而现在底层数据有了统一的存储平台。

其次,从分析的角度看。由于分布式存储同时支持块、文件、对象、HDFS、数据库协议等多种协议的融合特性,将多种数据类型汇总到一个平台里,为融合分析提供了可能,缩短了数据分析链路,以及多系统集成的难度。最后,在这一基础上,通过融合分析引擎对数据进行统一调度,统一分析。

第三大部件:数据使能部件。

按理说,数据使能部件的能力是有了数据处理DAYU(大禹)部件之后水到渠成的事儿,其实不然,DAYU大禹为下层的数据处理和业务创新提供了很多便利条件,比如,用AI的能力感知和采集元数据,然后分级分类,然后纳管到数据视图里,以此来提升找数据的效率。另外,为了方便把数据用起来,面向外部还提供了统一的访问接口,简化了使用数据的操作。

最后,DAYU的中文名字会让人联想到大禹治水,按照周跃峰的说法是,大禹治水,能让数据洪流不再可怕,让数据变为滋养我们生命的营养。

结语

这次发布会上看到,华为在努力跳出一些框架,换言之就是有意跳出别人定义好的规则,长期以来,而这背后靠的是华为在技术研发上的大力投入。

在华为看来,自研技术是为了提升自身对于未来科技发展的理解力。在一些方案领域,在采用合作伙伴的技术方案的同时,自己也会研究一些方案,既增强了与伙伴的合作,又能提供多样化的解决方案。

在这次发布会上,招商银行的专家介绍了在技术架构上的创新,以及华为方案对于其业务上带来的价值,其中提到了华为不久前才发布的GaussDB数据库,原来,华为的高斯数据库早就应用在招商银行里了。

这件事儿能说明两个问题,一方面,这说明了华为与用户保持着很好的合作关系,另一方面,华为可能还有更多隐藏的已经在研究但是还没公开的技术,等到公开的时候,直接就是一个趋于成熟的方案了。