聚焦政务大数据 详解品高智能湖仓系统

随着数字经济不断发展,数据作为关键的生产要素,重要性已不言而喻。就在不久之前结束的全国两会上,还正式组建了《国家数据局》这一全新的国家机构,主要负责协调推进数据基础制度建设,统筹数据资源整合共享和开发利用,统筹推进数字中国、数字经济、数字社会规划和建设等职能。

国家数据局的“横空出世”,与当前国有经济作为国民经济的主导力量、国央企在数字化转型领域具有使命特征的现实因素息息相关——大量数据资源在政府以及国央企数字化转型的过程中产生。然而,由于用户之间各自独立,数据缺乏流动、相对封闭,导致了数据孤岛“烟囱”矗立、历史数据无集中管理、数据量庞杂繁复等局限,限制了其发展。

聚焦政府行业,如何在海量数据中发掘数据价值,品高股份在大数据领域积极探索,以智能湖仓系统帮助政府客户打通“数据孤岛”、促进数据流通与共享利用。

基于云原生数据湖的新一代政务大数据解决方案

品高智能湖仓系统是基于标准品高数据湖管理平台产品(BingoInsight)研发,对基础功能进行打散重组、升级改造,并根据客户需求进行定制化开发的政务大数据解决方案。该解决方案通过多租户的运营方式,实现全量政务数据高效入湖、有效治理、有序管理、便利共享。

在基础设施层,品高智能湖仓系统独立规划一朵云,通过湖仓一体与云原生的结合,运用云的特性,实现存储、计算、网络、安全资源的高可用和弹性调度;在数据层面,提供S3对象存储集群等多种数据存储技术,满足不同数据的存储需求;在支撑层面,涵盖多种功能,为数据的汇聚、治理、共享等提供全方位支撑;所有入湖数据在经过数据层以及支撑层的处理加工后,将在应用层以各种标准化的应用,为内部门户、外部网站等服务对象提供全流程的服务。同时,该系统还提供运营、运维管理平台,保障总体的可持续运营。

围绕客户痛点,品高在智能湖仓系统中针对性地强化系统数据汇聚、存储、治理、共享等能力,以支撑政务应用的创新发展。

兼收并蓄,弹性拓展

针对用户来自多个厅局、不同类型数据库、汇聚异构数据的需求,品高智能湖仓系统拓宽自身兼容范围,能够支持4大类(文件类型、RDB、NoSQL、实时流类型)30多种主流数据源汇入、涵盖信创与非信创的大部分版本。在全方位支持不同数据源入湖的同时,最大限度保留原始数据、避免重要价值点丢失。

为帮助用户快速汇聚数据、使用数据,系统内还配备了多种智能工具,为用户提供从采集处理、数据发布到数据预处理的入湖全生命周期的支撑,具有极高的灵活性和可拓展性,做到开箱即用、在线自定义。

分区高效存储,多温度规划

品高智能湖仓系统在支持多种类型数据入湖的同时,还提供包括结构化数据、文档数据、档案数据等多源异构数据统一入湖存储能力。入湖后,根据数据的存储类型、特征等决定分块大小,设置数据分区分域管理;初始设置多个细分区域,每个分区都支持按照厅局划分租户;在实现高效的数据存取效率的同时降低集群建设开销。

海量数据入湖存储,是智能湖仓系统进行数据价值挖掘的第一步。如果不能将数据要素进行利用与流通,容量再大的湖泊也难免变为“一潭死水”。为此,品高在进行架构设计时采用数据温度管理机制,按照数据使用频次,将数据分为热数据、温数据和冷数据,分类存储管理。在提升高频使用数据的访问效率的同时,平衡分配存储介质,降本增效。

全方位数据安全保障

对于数据价值的挖掘,离不开数据的合规流通与使用,而数据安全既是更好发挥数据要素作用的保障,亦是前提。

品高智能湖仓系统依托分层管控技术,在存储、传输、数据资源访问和应用层利用相应的安全技术能力,提供全方位的数据安全支撑与保障。通过回收底层直接操作权限,对数据操作进行审批授权,提供基于日志的合规性审计功能,构建“事前、事中、事后”的安全防护闭环管理,有效保护数据资产安全。

多级租户,省市联动

品高智能湖仓系统还具备多租户运营管理能力,支持多层级租户架构,可实现全省/地市的平台SaaS化运营。各厅、局负责各自域内的数据入湖、数据管理和数据共享授权,有效降低了运营运维成本,并为统筹管理大数据管理体系提供了有力支撑。

此外,系统还能够对接统一身份认证平台,实现各租户间数据权限隔离;提供完善的数据安全控制及申请审批功能,支持租户和用户、资源(应用)建立多对多的关系。在实现数据共享的同时,还保障了数据的安全性。

以数助政,智能湖仓系统助力建设新时代数字政府

响应国家“十四五”规划,某省提出了“加快数字化发展,建设新时代数字政府”的需求,希望统筹推进政务数据跨部门、多层级汇聚共享和“一源多用”。然而,受制于早期信息化技术的局限性,某省政务大数据平台建设存在多个难点。首先,在数据管理方面,非结构化数据无集中管理和使用、政务历史档案数据无集中数字化管理;数据流通方面,缺乏全量数据集中管理支撑平台,数据多分布于各个厅局自建或租用的数据中心里面,数据共享存在壁垒,无法得到有效利用;此外,政务应用创新也缺乏多元异构数据支撑。

针对某省政务数据现状与需求,品高股份基于品高智能湖仓系统,结合基础功能与定制化功能,为其进行开发设计。经过量身定制,品高智能湖仓系统能够为该省各厅、局提供全量数据入湖支撑,覆盖业务数据、文档、视频、影像等各种结构化、半结构化和非结构化数据;还对汇聚入湖的历史档案数据统一进行全生命周期管理,确保数据的完整性和可追溯性。采用多租户模式,实现租户间数据逻辑隔离,保障数据安全性和隐私保护。同时,在数据挖掘方面,系统通过对数据的有效统一管理,能够为数据分析人员提供更多原始数据,开发出更丰富的主题数据资源;还提供非结构化数据处理功能,通过对该类数据的挖掘分析,帮助扩宽政务数据的维度,为数字政务应用的创新发展添砖加瓦。

经过部署,项目已取得了阶段性建设成果。系统设计方面,在完成数据分区分域功能设计的基础上,根据数据分区需求,进行了数据温度迁移功能开发。具体执行方面,项目已完成与下属厅局的对接,支撑多系统、超两万数据表的接入、处理与共享。这些功能的成功开发和实现,能够为政府用户提供更高效、更可靠的数据技术手段,打通数据“孤岛”,让数据得到流通与利用。

未来,品高智能湖仓系统将继续支撑某省数十个厅局的数据接入、处理、共享工作,为政府客户提供高效、安全、可靠的数据服务。在帮助某省政府加强公共数据汇集治理、辅助政务决策的同时,充分挖掘政府行业数据的内在价值,激发数据要素潜能,推动公共数据资源共享和开放,为政府行业客户数字化转型赋能。