天翼云大数据,激发数据价值的“小宇宙”

“画像”是电商业务常用的大数据技术应用,俗称“千人千面”。它是基于消费者访问、购买行为等大数据分析,使用 “画像”的方式,结合“个性化推荐”业务方式增加销售业务收入,带来新消费方式的同时,促进电商业务健康发展。

如果把“天翼云大数据”也视为政企等行业企业级用户的消费,我们也为这个“商品”画像,用来按图索骥指导行业企业级用户的消费和应用。

先行者说

首先想到是:从先行者实践中汲取营养,通过先行者画像来启发和指导用户的实践。

在此,天翼云首席专家侯圣文给出了如下几个推荐案例:

一是某重点项目,该项目的主要诉求包括:对大数据底座集、存、算、用4个方向,9类大数据产品,400+项指标的业界顶级需求,涉及EB级存储,日PB级新增数据汇入、万亿数据计算分钟级响应,百亿数据计算检索秒级响应,万亿级小文件对象管理等指标。

为此,天翼云进行了一系列性能优化和定制化开发,实现了数据总线单节点性能802MB/s,亿万数据计算4~8分钟响应,全文检索单节点达110M/s的性能表现,整个大数据集群能够达到上万台节点,做到了数据“存得下,算得准,查得快,高可用”的目标。如果你也有类似的战略构想,可以参考该重点项目的性能表现和指标。

第二个是安徽霍山县智慧城市项目,天翼云为霍山县智慧大脑提供大数据底座能力,建立了智慧城市方向的行业解决方案。

该项目采用“1+1+1+N”的架构,也就是一个云资源中心、一个城市大脑、一个运营中心和N个智慧应用体系架构,涉及了城市全景、城市治理、生态环境等6个主题库,通过多维度可视化的数据,为城市运行科学决策提供数据依据。

智慧大脑的项目很多,但是“霍山县智慧大脑”项目紧紧抓住数据这个核心主体,通过数据的汇聚、治理,用全面可视化的方式,实现了城市数字化运行、管理和监管体系。

鉴于该项目的优异表现,今年霍山县智慧城市项目被成功推广并复制到了安徽叶集县智慧城市的项目。

第三个是海南数据产品超市项目。

作为国务院颁布的全国公共数据资源开发利用试点省市,海南省大数据管理局充分利用海南省已建成的“七个一”大数据能力支撑底座,并基于天翼云技术能力,搭建全省统一,功能强大的数据产品开发利用平台,推出了海南数据产品超市,有序开放公共数据资源和电子政务平台能力资源。中国电信获得特许期内项目的独家运营权。

这是全国首例,也是一个探索性的实施工程。天翼云结合自身多年的数据治理和运营经验,与海南省大数据管理局联合打造了数据业务运营服务平台建设方案。在保障数据安全的前提下,引进多方安全计算、联邦学习等多种前沿技术,实现多路径多元化融合技术创新,提升数据应用价值。

该项目以“前店后厂”架构新模式,实现数据交易全流程闭环。其中,“后厂”由大数据平台、数据中台构成,搭载隐私计算、机器学习等技术,实现数据的汇聚、治理,以及数据产品开发全流程。“前店”指“数据交易服务平台”,通过用户、产品、需求、交易、计费等管理模块,拉通数据供需匹配、交易撮合、风险防控、交易结算等环节。

先行者的这些案例,代表着当今行业大数据应用水平。

他们或重视基础平台的搭建,或者重视基于大数据的应用实践,从数据开放的高度,对于数字创新和应用进行部署,是行业大数据应用现状的真实写照,也是天翼云大数据能力的真实展示。

探班基础设施架构

先行者的案例固然精彩,但是未必可以照搬,所谓临渊羡鱼不如退而结网,打好大数据应用的基础仍然至关重要,对此,天翼云大数据做了什么?又是如何做的呢?

如今,天翼云被称为国家队云服务商,作为国家队大数据需要具备业界领先的技术水平和实力,用一个词形容就是“顶天立地”。

“顶天”意味着要围绕国家重大战略需求,实现技术上持续创新突破,要充分考虑到芯片基础设施自主可控等因素;“立地”则是围绕行业应用场景,实现大数据产品的应用落地。

侯圣文表示:“我们经历了起步、创新、突破三个阶段,我们大数据综合解决方案核心优势,总结起来有三个关键词:强底座、建生态、重场景。”

什么样的大数据底座可以称为强呢?对此,天翼云将其概括为下几个方面:

(1)一云多芯:核心引擎满足国内外主流CPU、操作系统、数据库应用适配,实现信息技术应用创新;

(2)智能运维:依托专家经验沉淀智能运维平台,满足大数据集群80%的运维需求,助力集群管理效率至少提升5倍以上;

(3)高安全高稳定:采用Kerberos+Ranger高安全方案,实现数据底座全域身份认证以及库、表、字段级数据细粒度的权限管控;提供完备的数据安全治理方案,包括数据脱敏、分级分类、数据操作审计等数据安全防护能力;提供高性能高稳定的大数据核心组件,满足实时及离线存算需求。

(4)跨地域多中心架构容灾能力:设计跨地域多中心架构,研发迁移工具实现数据安全稳定迁移,保证数据安全高效流转与容灾。

这个起点非常高。仅国内外主流CPU适配并且保障高性能就不是一件简单的事情,这就是所谓国家队需要有的底蕴和实力。

“建生态“就是要把底座的基础能力转化为大数据的生产力,天翼云大数据为此携手生态合作伙伴,构建了大数据平台、实时计算平台、数据管理中台、数据资产、BI等全栈的产品体系,为行业综合性大数据应用项目奠定了坚实的软硬件平台基础。

有了这个生态平台的基础,行业用户、开发者就可以利用他们所熟悉的硬件、开源软件和工具,为上层的应用场景提供支持。

“重场景”,天翼云的思路是逐步建立从行业“通用”技术方案到行业“专用”解决方案,如今已经沉淀了众多的行业解决方案,随时为行业企业用户提供选择和服务。

数据治理实现升华

技术平台也仅仅是万里长征的第一步,用好数据、发挥数据创新价值,还需要从行业大数据实际应用情况出发,解决一些具体卡脖子的难题。

分析了行业大数据应用现状,天翼云大数据总结了大数据行业应用面临的主要问题:大数据行业新工具、新算法、新引擎不断涌现,需要用户跟上技术发展步伐,不断创新数据处理、分析的方法,为业务创新提供思路和支撑。

侯圣文指出:如果用户自研大数据平台、数据中台等产品,去解决数据开发、治理、分析、处理等方面的问题,成本高、难度大;尤其涉及多源异构数据的准确性、完整性、一致性等问题,数据治理难度很大,需要数据清洗、去重、纠错等方面的经验积累。

此外,数据增长快也给存储与计算技术带来很大的挑战。随着数据规模增长、开放程度扩大、共享需求的凸显,数据安全和隐私保护要求越来越高,需要数据加解密、访问控制、审计跟踪、隐私计算等技术应用的支持,对数据使用政策、隐私保护法规、监管也提出了更高要求。

为了让行业用户更加专注业务,通过屏蔽底层复杂技术,天翼云推出了大数据平台、数据中台等产品。其中,天翼云大数据平台可提供快速部署、便捷维护的HDFS、YARN、Hudi、Hive和Flink等高性能的大数据组件以及智能运维管理平台,并完成鲲鹏、海光、麒麟、CTyunOS、统信等国产化适配,具备湖仓一体、一云多芯、智能化运维等功能特点,解决使用者在数据存储、计算、集群运维等方面难题。

相比,天翼云大数据管理平台以全托管方式,为行业用户提供一站式、开箱即用的大数据开发与数据资产管理工具,解决了数据集成、数据建模、数据处理、数据治理、数据服务等关键技术问题,解决企业转型时面临的数据采集、开发、管理、安全等需求。目前,天翼云结合公安行业场景,成功打造了公安行业数据中台,并通过公安三所测评认证,成为全国4家通过该认证企业之一。

“对企业用户来说,我们建议,积极拥抱变化,破除传统思路,一方面需进一步思考如何利用好、管理好数据,实现数据提升企业内部管理;另一方面,结合自身优势,引入大数据等先进技术与产品,拓展更多创新应用场景,促进企业业务高质量发展。”侯圣文说。

小结

从基础支撑平台,到数据开发和应用平台,再到先行者的应用实践,天翼云大数据用自己能力描绘了行业大数据应用的画像。都说这个世界并不缺乏美,缺乏的是发现美的眼睛。如今行业大数据应用也是如此,隐藏在数据背后的价值有待行业用户的发现,天翼云大数据国家队实力将经受哪些其他行业用户的考验,让我们拭目以待!