数据湖的发展契机,来源于近年来的AI热潮和云计算、5G的发展,在日益发展的海量数据时代,让企业深刻地认识到数据已成为企业发展的核心资产,通过挖掘大量数据背后的价值,敏捷地处理数据分析,是提升数据洞察力的关键。
以往基于数据仓框架下的数据管理和应用模式,主要是用于分析来自事务系统和业务应用程序的关系数据,以达成结构化数据管理。数据在进入数据仓库前,通过预先定义schema及业务情况,对数据管理进行开发建模,从而构建数据模型。用户通过数据服务接口或者计算引擎访问数据模型,来获取相应的结构化数据。
而数据湖的建设理念,是将数据仓开发周期长、成本高、丢失细节数据等不足进行了完善。在数据湖体系中,构建企业级数据湖后,其数据处理的实际能力变得更强了。因为与”预建模”方式的数据仓不同,湖中的数据包括结构化数据、半结构化数据及非结构化数据等,不需要通过处理工作达到数据”可用”状态。
相较于数据仓而言,数据湖无疑是节约了大量的IT资源,同时,大幅度增加了数据可用性。其中,算力弹性资源池可达500万核,存储数据超过数百PB,每日实时计算次数超过万亿,能支持上亿维度的数据分析及决策。据相关数据统计,到2025年全球数据总量将超过160ZB,全球数据总量的近 20% 将成为影响日常生活的关键数据,而其中非结构化数据将占据全球数据总量的80%。数据湖的产生理念则是,将使用数据仓的壁垒处理到了极致。
近日在2021全球数字经济大会拉萨分会场,柏科数据技术(深圳)股份有限公司与西藏宁算科技集团有限公司达成战略合作协议,共同建设西部高原数据湖,在数据存储中心、数据灾备中心、数据渲染中心、行业大数据应用中心、信创云中心等系统解决方案与服务等领域展开深度合作。
目前,拉萨作为自治区首府城市、国家物流枢纽城市、面向南亚开放的中心城市,目前正加快发展数字经济,努力打造具备区域带动力和国际影响力的数字经济高地。
一是加快建设“拉萨国际数字经济园区”,加快打造“东数西算、东数西备”的国家级绿色数据中心和算力枢纽,推动数字进藏。二是加快建设“城市大脑”“智慧城市”,以数字化为长治久安增效赋能,系统提升社会治理现代化水平,推动数字治藏。三是加快推进数字产业化和产业数字化,通过“上云用数赋智”塑造特色产业新优势。
会议上,宁算科技与柏科数据等信息科技领域的重点企业,达成数据湖全面战略合作意向,共同建设“西部高原数据湖”,充分结合数据湖节点的布设,推进物联网、智慧交通等未来数字化建设。以拉萨独有的地理优势和可再生能源为依托,运营全球海拔最高的绿色数据中心,布局面向南亚的国际离岸数据中心。以行业专网作为核心数据管道,部署安全可靠的云计算、大数据、物联网和人工智能等新一代信息技术,以汇聚海量行业信息与数据上高原。