辽宁移动与华为联创数据库项目荣获2019数博会领先科技成果“优秀项目”奖

5月27日,2019年中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开, 其中在领先科技成果发布会上辽宁移动与华为基于多租户模型构建MPP(Massively Parallel Processor )大规模并行处理数据库联合创新项目,由于其成果可更好的驱动大数据应用,荣获“优秀项目”奖。

一、强强联手,共赢实现大数据时代商机

数博会是由国家发展和改革委员会、工业和信息化部、国家互联网信息办公室与贵州省人民政府主办,不仅是全球首个以大数据为主题的博览会,更已成为全球大数据发展的风向标和业界最具国际性和权威性的成果交流平台。

大数据时代背景下,数据的分析、组织和调度是信息价值挖掘的重要保障,MPP大规模并行处理架构的数据库系统因其具备良好的扩展性、高性能、可靠性等特点,正逐渐替代经分系统中传统数据仓库系统。

但使用MPP数据库中也面临一些问题,其中最为突出的是多租户同时使用时,如何实现各租户的计算资源和存储资源的隔离,即当数据库系统负载较高的时候,任务之间存在资源(CPU、I/O和内存)竞争,以及避免任务之间由于资源竞争导致资源互锁一些问题。

本次辽宁移动与华为公司合作,基于华为独有的Node Group弹性集群架构在MPP数据库实现按租户对系统资源(CPU、内存、IO、存储)和数据的隔离,确保各应用系统之间无干扰,合理的为各个应用提供资源,保障各应用能够正常的运行。

同时,在用户资源隔离的基础上,该项目的MPP数据库还实现了租户计算资源的弹性伸缩,可以充分利用其它租户的空闲资源,不但保障了业务的正常运行,还可实现资源利用率最大化。例如,地市集市业务系统在9:00~18:00点为业务人员提供交互分析,该业务的访问量和工作量波动比较大,很难对资源做精准评估。当有业务人员提交比较复杂的关联查询时就会造成该资源池的利用率比较高,反馈时间过长。而互联网中心业务分析等业务其执行的周期和时间段又恰恰和地市集市的业务可以分开执行,因此利用租户资源的弹性伸缩的特性,访问高峰时完全可以借用互联网中心业务分析等各业务模块的空闲资源提升地市集市的查询效率,同时提升整体的资源利用率。

辽宁移动采用华为MPP数据库GaussDB构建统一的大数据系统,逐步替换目前的多套多种的数据库系统,有效解决了传统应用的分类建设,造成的整体系统结构复杂,系统利用率低等问题。

系统自2016年上线以来,GaussDB数据库集群规模已达到80个节点,系统扩容750TB。支持700多个用户的并行访问。并逐步迁移多套核心系统至GaussDB数据库平台上,大幅简化整个数据平台的复杂度,降低管理难度。GaussDB据库系统最终可以扩展到1024节点、10PB容量,满足辽宁移动未来业务发展的需求。

同时该系统还支撑了盘锦市智慧城市运行管理平台,可在旅游、交通、商圈及重点区域等方面有效为政府提供决策依据。在试用期间,获得国、省、市等各级领导高度评价。此外手机上网行为分析也支撑了辽宁电视台春节大数据报告等需求,获得了良好的社会效益。 

二、持续创新,匠心打造智能数据基础设施“数据底座”

近年来,华为一直致力于为各行业构建数据基础设施,加速智能化进程,“数据+智能”正在创造更多的商业价值、产业价值和社会价值,支撑“数据+智能”的数据基础设施已成为ICT重要组成部分。

华为智能数据与存储从计算、存储和数据处理三个领域重定义数据基础设施:其中对于计算领域,华为引领多样性计算,推动计算架构多样性发展,让算力更充裕更经济。其次,在智能存储领域,为应对存储效率低、管理复杂的问题,华为重定义存储架构,推出FusionStorage 8.0智能分布式存储,可大幅提升效率,引领存储智能化。同时在数据处理平台领域,为应对更实时和智能的需求分析,华为重定义数据处理平台打造全球首款AI-Native数据库GaussDB,使得数据分析更智能,全面加速实现数据价值。

GaussDB 数据库是华为汇聚全球数据库顶尖专家,从2011年开始投入研发,目前已在运营商、金融、平安城市、能源、电力、电商等众多行业应用,累计销往国内外200+客户,是华为大数据解决方案的重要组成。而大数据是华为ICT战略的重要支柱,在全球布局8个研究所,持续进行大规模研发投入。GaussDB作为华为研发的一款企业级数据仓库产品,具备高性能、高可靠、高扩展、高安全、易用特性,兼容标准ANSI SQL 99/2003语法和PostgreSQL生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。

上市销售以来,GaussDB在市场上不断得到客户的认可,已广泛应用于国内外金融、平安城市、运营商、能源、电力、电商等领域。在金融领域,GaussDB已应用于中国工商银行、上交所、深交所、中国太保等20多家客户,其中与中国工商银行合作,完成了业界首个Teradata迁移项目,GaussDB不仅满足了客户的诉求,而且在帮助客户降低70%成本的基础上,关键性能提升30%。在运营商领域,GaussDB在中国移动,沃达丰子网等客户成功商用。

GaussDB已经跻身业界一流数据仓库产品的行列,2016年、2017年、2018年连续三年在Gartner魔力象限排名中位列中国厂商第一。

展望未来,华为智能数据与存储将为智能时代带来最佳数据基础设施底座,把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。