华为大数据的创新之路
[导读]华为始终秉承着以客户为中心的理念,反映在大数据领域,就是要贴近行业典型客户进行联合创新,有针对性地提供平台解决方案,并引领合作伙伴在平台上持续构建价值应用。
历史的车轮驶入2015年,人们对大数据的关注焦点,已经从之前的概念炒作,发展到如何通过大数据为客户业务创造价值。未来,数据将以十倍、百倍的速度增长,信息“过载”已经成为许多企业的一大症结。即使是石油,在开采出来之后,还需要经过冶炼、蒸馏、精制等,才能为社会创造价值。企业的数据,如果不能快速地抽取、分析和变现,也将成为企业的沉重负担。
在各行各业受到互联网冲击的年代,客户需要的不仅仅是供应商,更是合作伙伴;需要的是持续的联合创新、持续的开放解决方案供应、持续的咨询服务,这样才能帮助客户直面竞争和挑战,甚至成功逆袭。
FusionInsight:累计成功部署500+项目
大数据已成为华为未来的战略方向之一。从2009年起,华为就开始有节奏地投入大数据,如今已经取得开源社区、客户和生态伙伴的共同认可。其具体举措包括:在Apache Hadoop和Spark社区投入高级专家持续贡献内核代码,已取得社区排名全球第4的成绩;2011年发布第一个平台版本,成功帮助电信运营商改善了基站投资结构,大幅降低了高端客户的离网率;2013年发布全新架构的FusionInsight大数据平台,并快速在金融、公安、政府和教育等行业取得突破,已累计成功部署了500+项目,同时,已有200+合作伙伴的行业方案采用了FusionInsight平台。
华为始终秉承着以客户为中心的理念,反映在大数据领域,就是要贴近行业典型客户进行联合创新,有针对性地提供平台解决方案,并引领合作伙伴在平台上持续构建价值应用。
FusionInsight的整体结构分为三层:最底层的DataOS是基石,可支持主流的开源处理引擎——MapReduce批处理、Spark内存迭代、STORM流处理,以及华为自研的MPPDB,它是业内唯一的全栈企业发行版,可满足不同场景的数据处理需求。同时,自研的Elk可支持企业的SQL应用无缝迁移到大数据平台;中层的DataFarm是伯乐,是让数据有效流动起来的关键所在,支持ISV利用平台能力进行多源数据的实时集成,支持各类开源的算法库,使能客户和伙伴的挖掘能力,帮助数据分析师不断地进行试错和模型训练;最上层的行业增强解决方案是加速器,在DataOS和DataFarm的基础上,针对行业典型大数据场景(比如金融业的风控),有针对性地优化并预置参数、算法、模型和逻辑包,大大缩短了基于大数据的新业务上线时间,满足了在线应用的高要求,填补了企业高要求与无序开源的空白,最后联合ISV开发上层应用,提供关键场景的端到端解决方案。
大数据:走向企业生产和关键业务
FusionInsight在平台水平能力上持续做厚,支持多集群统一管理及多租户、容灾备份、存储EC、数据加密、OMS支持HA等高级特性,支持全Web化的交互式体验,以及不断丰富的数据治理工具,让大数据从企业的实验平台走向生产、走向关键业务。
金融行业近年来受互联网冲击很大,去中介化让金融脱媒、客户脱媒、甚至信息脱媒甚嚣尘上,各大银行倍感压力。2014年,随着以FusionInsight为代表的大数据解决方案开始走向商用,这一局面开始得到改观。比如,国内一家领先的商业银行在采用了华为的FusionInsight进行潜在小微贷款客户的全量挖掘后,其名单转化率比采用传统的数据仓库提升了40倍,或有金融资产预测误差率则降低了一倍;另一家银行过去主要通过批量发送推荐短信的方式开展营销活动,无法做到个性化,致使客户多有抱怨,而采用FusionInsight后,理财推荐的短信发送量比过去下降了82%,而命中率却上升到了95%,真正实现了千人千面的精准营销;还有一家银行在信用卡征信采用FusionInsight后,其发卡时间从15天大幅缩减到了立等可取,在安全性更好的前提下达到了实时体验。
交通管理是典型的大数据行业,其数据特点也是非常典型的5V,面临着新形势下的反恐压力及人均警力严重不足的困境。华为FusionInsight帮助中国某省的公安部门实现了上千个数据库的高效集中,形成了统一的大数据平台,强大的SQL能力帮助交管部门无缝迁移了应用,支持秒级发现套牌车、分钟级发现同行车、实时交互查询高危车辆、自学习优化交通网络效率,用智能的方法有效缓解了城市拥堵。
在政府行业,很多政府部门都拥有海量的价值数据,但这些数据高度分散,应用也呈现烟囱式分布。华为通过将其FusionInsight大数据平台与FusionSphere云平台联合,正在为多个政府部门建设统一的大数据云数据中心,将云计算和大数据结合,实现了大数据能力的服务化,让数据能更加高效地开放,更好地服务于民生。
电信行业也是数据高度密集的行业,电信运营商更是应用大数据的先行者,华为较早就进入了这个领域,通过FusionInsight平台帮助全球多个TOP运营商构筑了融合的大数据中心。比如,中国某省的运营商利用FusionInsight实现了VIP客户的预防性维挽,并优化了基站的投资分布,当年就为该客户节省了几百万元的支出,同时,通过开放技术还让客户的移动位置数据很好地服务于各级广告主,让数据真正变现成了货币。
上述成绩的取得,离不开华为各级合作伙伴的大力支持,FusionInsight发布之初就非常注重生态链的构建,每个行业的TOP ISV都与华为的大数据实验室成功实现了对接;与此同时,华为近期还与国际领先的数据挖掘厂商SAS签署了战略合作协议,率先在国外某客户成功实现了FusionInsight的商用,迈出了国际化的坚实步伐。
【提红】FusionInsight发布之初就非常注重生态链的构建,每个行业的TOP ISV都与华为的大数据实验室成功实现了对接;与此同时,华为近期还率先在国外某客户成功实现了FusionInsight的商用,迈出了国际化的坚实步伐。