11月23-25日,由百易传媒(DOIT)主办,中国计算机学会信息存储专委会、中国计算机行业协会信息存储与安全专委会、华中科技大学武汉光电国家研究中心、固态技术协会(JEDEC) 等机构支持,主题为“数据觉醒”的“2021(十七届)中国数据与存储峰会”圆满闭幕。
峰会为期三天,包括一场主论坛、九场技术论坛、五十余场演讲。知名院士、专家学者和产业领袖一起共同探讨存储创新与数据觉醒等热点话题,全网累计观看用户超过27万人次。
在主论坛上,华为云文件存储服务总经理崔林威发表了“以技术创新,构建绿色云上数据基础设施”的主题演讲。
全文如下:
大家好,我是华为云的崔林威,很高兴在2021年中国数据与存储峰会给大家带来分享,今天我带来的分享主题是《以技术创新,构建绿色云上数据基础设施》。
当前,节能减排、碳中和关乎着人类的生死存亡,已经成为全球达成的共识。2019年12月11日,欧盟委员会发布了《欧洲绿色新政》,提出了2050年欧洲实现气侯中和,近200个国家陆续向联合国提交了温室气体减排的NDC,推进2050年全球碳中和目标,2020年9月22日,习近平总书记在第75届联合国大会上,也郑重地向全球作出承诺,努力争取在2060年实现碳中和,碳中和是一场能源革命,更需要科技革命和技术的转型,需要经济发展模式进行根本性的转变和科技创新的支撑。
华为以全方位技术创新打造绿色节能的华为云
华为以全方位的技术创新打造绿色节能的华为云,构建绿色基础设施,存储作为最典型的基础设施,四个方面不断的进行技术创新,助力整个社会的节能减排,我今天就从这四个方面去讲一下华为在这四方面的技术创新。
一,在数据中心的创新层面来说,我们通过AI能效调优,储热循环等技术,使得风冷数据中心的PUE达到了1.12,水冷数据中心达到了更低。
在存储介质方面,通过高密框降低了每个物理空间的能耗,同时我们现在采用SSD POOL技术,降低了每GB的性能能耗,同时华为现在在做大比例EC,降低每TB存储空间的能耗,总计降低能耗基本上在60%以上。
同时在方案创新层面不断推动新方案的改革,例如我们的多协议融合的数据湖、存算分离、分布式缓存等技术,在提升业务处理效率的同时,平均任务的耗时节能也差不多降低了30%以上。
在生态联盟创新层面,华为致力于提供全球统一的分布式资源池,承担上层100多个高阶服务,提供数据处理平台服务的“数据工坊”,用户可以使其在大量的通用能力进行数据处理,而不需要各自的重复建设,实现数据处理的共享和弹性的扩容,节能能耗20%以上。
华为云存储打造绿色数据中心
下面我从几方面具体讲一下华为云存储的技术创新。第一个,我今天要讲的是我们在数据中心建设方面的一些创新,华为云当年在全球27个区域建立了61个可用区域,2500+的CDN节点,华为的数据中心全部采用AI能效调优、功率半导体、储热循环的技术进行了最大的提升能效,全球数据中心实现了按需供冷,提升8—15%的制冷效率,同时借助于可视化的AI运维能力,使得数据中心运维成本降低了35%,时延利用率提升了20%以上。
同时,华为数据中心充分利用天然气侯的优势,进一步降低能源的消耗,例如我们建设的南贵北乌两大数据中心。贵安数据中心是华为目前最大的数据中心,占地总面积1500多亩,建设规模可容纳100万台服务器,贵安当天的平均气温只有15度,我们采用自然冷却技术,全年的PUE降低到了1.12,这样就意味着我们在满负荷运行情况下,预计每年可节省电力在10亿度左右,碳排放量相当于节省了81万吨,相当于每年植树3567万棵。
乌兰察布数据中心定位为华为云全球最大的渲染基地和归档数据存储基地,充分利用了当地的自然条件,全年的平均PUE低至1.15,到冬季更是低于1.1,因为乌兰察布风特别大,所以在风冷利用方面,充分的把我们的PUE降下去。另外,整个数据中心因为使用的是风力发电的电力,所以都是绿色能源。
华为在存储介质方面的三大技术创新
我们再来看一下华为在存储介质方面的一些创新,主要有三大技术的创新。
第一我们是使用了超大容量的高密框;第二做了SSD POOL技术;第三,我们在搞大比例的EC技术。
超大容量的高密框的容量,相比原来的普通数据框,容量提升了2倍以上,功耗却提升了接近10%,每U物理空间能耗差不多节省了16%以上,现在我们使用的SSD POOL技术,性能相比原来的HDD POOL性能提升了5倍以上,同时空间占比节省了50%,每GB的性能能耗降低了84%,华为当前的EC技术,已经达到了20+3,相比原来的三副本技术,容量的利用率显著的得到提升,每TB的存储空间能耗降低到原来的30%左右。
华为云分享最新案例助力节能减排
接下来,我讲一下华为云技术发展的创新,今天我们重点讲三个方案的技术创新。第一个,华为云首创了文件服务的兼容对象接口,不仅能够简化客户上云的过程,数据处理的结果也可以直接通过对象接口进行下载和分发,从而避免了传统云上文件处理的时候,需要先上传数据到对象存储,然后再从对象存储拷贝到文件存储,文件存储处理完以后,拷贝回对象存储,然后再进行分发。
现在我们实现了多协议湖通道,大大节省了整个过程的时间,更减少了整个过程的数据冗余。
今年我们在芒果TV热播的综艺节目“乘风破浪的姐姐第二季”,是业界首个基于华为云打造的4K综艺节目。她们的视频通过影视基地和外景的拍摄,直接通过我们的对象存储,直接上传到华为云上,在云上通过文件接口进行转码、合成、调色、渲染等一系列的处理以后,直接分发到对应的播放平台,就可以直接实现播放了,整个过程是免数据拷贝的,使得整个节目制作时长节省了50%以上的,其实云上的资源是按需付费,相比于原来芒果TV自建的IT系统节省了90%的初始投资。
更重要的,整个节目制作过程,因为都是在云上,数据资源都是随时弹缩容的,整个节目制作过程能源消耗相比芒果自己自建的数据中心,大概减少了21.5万吨的碳排放量。
今天介绍的第二个解决方案,就是华为最著名的Big Data Pro大数据解决方案。它以高效的多样性算力为底座,支持弹性云服务器、裸金属、云容器部署方式,围绕以OBS为存储的数据湖,计算和存储实现分离,利用高速云网络连接计算和存储,打造全新的云上大数据解决方案。因为计算和存储资源都是可以弹性的、灵活的扩收容的,存算分离的方案使计算资源和存储资源利用率都得到很大提升,计算资源我们像在美图,基本上计算资源的利用率提升了75%以上,存储资源利用率提升了140%以上,美图基于华为的存算分离大数据解决方案,相比于原来的大数据分析平台,资源利用率提升了21%,运营成本也大大降低了30%以上。
今天我要讲的第三个解决方案,是我们基于SFS Turbo缓存渲染解决方案,它实现了云上云下NAS存储侧联动,云上自动缓存数据热点,提供最大20GB,百万IOPS极致性能,助力MOREVFX(墨境天合)制作,渲染任务无感知的弹性到了我们的公有云上。
同时SFS Turbo文件服务提供标准的NFS和CIFS协议,实现了开箱即用,数据随计算自动流传上云,客户云上云下体验完全一致,无需对其程序做任何改造。和传统的渲染解决方式相比,云上的SFS Turbo文件存储解决方案,它是按需使用的,随时可以释放,避免了企业针对高峰用电的时候,要自己多建基础设施,这样就可以大大节省成本,相比传统的自建模式,整个TCO下降了50%以上,性能提升了30%以上,缩短了排队和渲染的时间,从而极大的减少了能源的消耗。
像墨境天合预计碳排,今年我们算了一下,大概它的碳排放量预计减少了差不多53吨。
今天我最后要讲一下华为在合作生态上的创新,我们一直致力于打造丰富的数据生态,当前,存储服务作为华为云的基础服务,承载了一百多个高阶服务,如大数据、数据库、AI等,存储着海量的运维数据,支撑了数万家的企业业务,同时我们还在与众多伙伴一起打造数据处理生态,基于华为云第三方的数据处理能力,构建数据平台服务,我们现在数据平台服务叫做“数据工坊”,未来五年我们的“数据工坊”预计会提供一千+的数据处理算子给用户使用。
例如我们现在正在与“数美科技”等行业领先的伙伴,联合打造我们的内容合规审核、自动驾驶预标注、视频转码、图片转码、灾害识别等算子,用户可以使用数据工坊上大量通用的能力进行数据的处理,从而不需要重复建设。
数据处理是AI共享的弹性,快速满足客户需要,可进一步实现整个低碳节能的目标。
今天我主要说的是,华为云存储一直致力于持续创新,构建一个绿色的数据管道,是大家可以值得信赖的合作伙伴,谢谢!我今天的演讲就到这。