近日,“2019中国大数据技术大会(BDTC)”在北京举行,华为云数据中台总架构师龙江分析了下一代数据中台面临的新趋势及挑战,并分享了华为云数据中台解决方案DAYU的解决之道。
数据时代企业要发展就必须进行数字化转型,大数据技术能打破现有数据孤岛,构建数据分析和运营能力,为企业实现降本增效。华为全球产业展望(GIV)报告显示,企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%。由此可以看出,数据的价值还远远没有释放。
企业数字化运营面临四大挑战
龙江表示:“数据中台,是指通过建设全域级可复用的数据资产中心和数据能力中心,提供清洁、透明、智慧的数据资产和高效易用的数据能力,使能业务数字化运营与创新。因此数据中台,不仅是个技术架构,更重要的是一个数据架构。所以,企业建设数据中台,一定需要有方法论的指导和基于业务的顶层数据架构设计。”
华为云数据中台总架构师龙江发表演讲
龙江介绍,大数据时代,企业积累的数据资源越来越多,企业数字化运营需要由传统的烟囱式IT系统向数据中台转型,在转型过程中面临四大挑战:
挑战1:独
当前企业各个部门都建立了自己的烟囱式IT系统或者独立的数据分析平台和数据仓库,导致存在大量数据孤岛和孤立的应用,导致数据不共享不流通,无法实现跨领域的数据分析和创新。由于缺乏高效运营工具平台,数据开发周期长,既有数据的重复开发,也有数据平台的重复开发,同时也带来数据的重复存储,造成企业成本浪费。
挑战2:缺
企业普遍缺乏数据治理的标准或者数据标准不统一,数据缺乏治理,数据找不到,读不懂及不可信等。
挑战3:断
数据理解与数据价值链条的断层。数据的生产者和数据的消费者对数据的理解有断层,例如生产者不知道消费者为什么消费这些数据,对于数据指标背后的商业逻辑不理解,所以给业务决策者开发的数据运营报表就会存在数据是否可信和指标逻辑是否正确的问题。
挑战4:难
企业会遇到知数据难、要数据难和懂数据难的情况,例如企业不同部门间相互要数据难,对于获取过来的数据,又不知道数据字段的含义,数据理解非常难。
华为云智能数据湖运营平台DAYU :一站式高效易用的数据治理运营平台
针对企业数字化运营转型面临的挑战,华为云打造了“智能数据湖运营平台DAYU”——面向企业数字化运营诉求,提供一站式、端到端的数据中台解决方案, 在全域数据目录的基础上,统一数据规范,协同数据开发,优化数据质量,提供数据可视化,实现多数据源数据接入,多类型数据迁移,私有云&公有云数据湖统一调度,数据开放用于丰富数据消费的智能数据管理能力,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,促进数字化转型。
应对一:行业模板+运营,一站式构建企业数据中台,数据孤岛不再
DAYU平台通过内置行业数据模板及全流程可视化的数据开发治理工具,使能企业聚焦业务领域数据变现。针对政府、园区、电力、工业、零售、汽车等行业,DAYU平台提供的行业模板,包含行业主题数据模型、指标库、数据开发Pipeline、行业数据算子、计算资源智能规划等,用户可一键式完成数据中台建设,帮助用户管好和用好数据。
DAYU以可复用的行业模板,加速数据价值发现流程,提供垂直行业可复用的领域知识库,涵盖行业数据标准、行业领域模型、行业数据主题库、行业算法库和行业指标库,支持智慧政务、智慧税务、智慧园区等行业企业快速定制数据运营端到端解决方案。
在某园区行业数据中台场景中,DAYU平台帮助某地产集团建设智慧园区数据中台,实现全国百余园区的人员、车辆、设备、资产、安防综合态势可视化管理、统一调度指挥、智能决策。
应对二:数据规范设计,基于华为数据体系建设方法论沉淀而成,统一数据标准
数据中台的核心是要进行数据治理,而数据治理的核心是统一的数据标准。很多企业的数据标准当前只是停留在纸面上,无法真正应用到产品中,无法实现数据的规范。DAYU提供了数据规范设计模块,该模块是基于华为十多年的数据体系建设方法论沉淀而成,可以指导企业如何根据所在行业的业务和数据特点,结合企业自身诉求,输出标准化的数据中台涉及,帮助企业实现数据标准系统化、流程化,打通数据需求全链路,使数据研发自动化、无码化。
应对三:一站式敏捷大数据开发治理,全流程可视
DAYU提供一站式数据开发治理能力,通过数据开发模块对数据进行敏捷开发和调度;通过数据治理模块对数据质量进行管控,实时发现数据质量问题,并实时告警;通过标准的数据服务模块提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现,帮助企业快速开发数据大屏;通过数据资产模块统一管理数据资产,可以提供全局资产视图、快速查看、智能管理、数据溯源和数据开放共享,从业务视角管理和查看数据,定义业务架构、业务分类和业务术语,统一管理资产访问权限。
应对四:AI能力与SQL融合,懂SQL就可以开发AI业务
DAYU具有SQL和AI相结合的能力,可以使用SQL进行图片识别,快速完成非结构化数据处理。同时DAYU通过与机器学习、深度学习算法深入结合,增强实时数据分析能力,SQL中调用各种机器学习算法和深度学习框架,降低AI能力使用门槛。
为了让数据最大化发挥价值,企业急需构建数据中台来提供数据运营能力。面向数据中台场景,华为云与普华、希嘉、中软、德勤、兴海物联、傲亚等诸多行业伙伴合作共建生态,开放DAYU平台能力,赋能行业合作伙伴,结合DAYU智能数据湖运营平台和行业伙伴的行业经验知识,共同打造面向不同行业的数据中台解决方案,帮助客户打破数据孤岛,快速完成业务创新和数据变现。
截止目前,集成了DAYU的华为云智能数据湖解决方案已广泛应用于金融、医学、物流、互联网、汽车、政府、零售等行业。在近日举行的2019第六界中国国际大数据大会上,华为一举揽获2项大奖,华为云智能数据湖荣获“2019年度大数据行业最佳服务平台奖”,华为云“存算分离+鲲鹏”大数据云服务荣获“2019年度大数据行业创新产品奖”,再一次证明了华为云在大数据领域的不凡实力。
