华为张福鹏:智能新闪存时代,打造新数据中心

在2020中国存储与数据峰会上,华为数据存储与机器视觉产品线副总裁张福鹏以“智能新闪存时代,打造新数据中心”为题发表演讲,分享了华为对存储,对数据的一些看法。((以下内容根据速记整理,未经本人审定)

对于未来存储的走向,从前,我们习惯于用介质的变化来定义未来存储的变化,而未来更多应该会由企业实施多云部署,行业应用场景不断创新,数据中心需求复杂化等因素导向前行,重新定义存储。

存储市场内的企业都在以不同方式顺应或影响存储发展。华为在做什么?2019年,华为发布鯤鹏计算产业战略,2017年华为云发布,现在又把数据单独拿出来。

华为相信身处智能时代,算力会成为新生产力,5G、云、AI等会成为新生产工具,数据是新生产要素,一切围绕数据,以数据存储为基础。我们需要以机器识别的方式将很多物理世界的事务转换到数字世界,善用数据,以自动化方式,让人和数据充分结合起来,为世界构建最强大的数据基础设施,释放价值,点亮数据文明。

华为数据存储与机器视觉产品线副总裁张福鹏

随着数据发展,数据基础设施的发展矛盾日益凸显。首先,实时计算。我们看未来有10µs级的要求,不只是经常说的毫秒级,而且微秒级不仅在传统存储里面,应该是放在数据中心角度来看存储。

第二是数据膨胀,随着数据迁移次数增加,加上多副本安全考量,数据膨胀将成为5G使用的瓶颈。

第三是面向云化的建设,如何实现数据中心云化,如何融合外部云和本地IT设施?

第四则是企业数据中心需要平滑的自我演进方式,以避免短时间内的不断迭代。

重定义内存和存储边界助力实时计算

实时计算。未来有很多实时计算,更高性能的要求,不仅是内存发展可能跟不上,后端还需要大量的技术。其中IO瓶颈(实现高性能)是其中一个,原来HPC可能就是计算问题,但现在发现很多业务的生产,必须是计算密度加上存储厚度,很多企业也表示如果数据存储IO不够,算力建多少都没有用。并且需要高速的实时的数据,必须提供内存级的能力。

另外在生产交易的环节,我们现在做智能风控,是要把海量传统交易事务加在一起,碰撞才能进行使用,所有这些内容都需要重新定义内存和存储的边界,未来存储必须是一个数据中心,一个企业全部数据统一的认证,实现大规模、高性能、高可靠和易用,这是变化挑战的一个方向。

在这一方向上,需要我们在软硬件上面同时优化和调整,从上层的软件到底层的硬件都能感知数据,对数据进行优化。因此无论是盘还是控制器,华为都设置了端到端的硬件和软件进行实时优化,保证不仅能够提供高性能,而且不管任何一种数据模型的情况下,都可以提供稳定的带宽,这是我们认为未来在高性能领域,必须从底层到高层,硬件到软件,从介质到架构统一的创新方向。

当数据成为企业未来关键生产要素时,业务可靠性至关重要,存储技术作为一个传统的高可靠要求的产品,必须能够提供稳定的作用。首先,盘不能掉,其次,到设备级。所有的盘是做冗余,内部做统一控制,让任何一个盘失效都不会影响生产业务,不仅做了盘,还做了框,哪怕有一个框里面所有的盘失效了,还是可以保证运营,然后就是全互联架构,华为做了很多网络级互联互通,使得我们盘框八个控制器七个坏掉都可以运转,而且免网关双活。

打破存储孤岛构建统一的数据存储底座

我们必须把企业所有的数据——各种各样的实时数据,热数据和大数据等进行统一管理,但这些数据需要不同的介质盘来搞定,难道我们要做不同的产品吗?不应该这样,我们在企业的数据中心,甚至在跨界多云应该构建一个统一的存储资源池,可以用软件架构和统一架构的方式屏蔽任何的介质差异不同,使得它不管是面向随机的闪存还是面向硬盘,都能提供最合适的业务,我们就需要把所有的存储变成原子级的能力,能够给客户一个统一的数据的,可以把底层所有的硬件用一套OS架构进行封装。

当我们组建了统一的资源池以后,屏蔽差异化的介质,资源化管理,使得所有存储能力放在同一个池子里分配,按照原来的方式,只能是提供40%的资源利用率,未来这样的方式能够让你用70%的方式,还是能够给你提供一个很好的存储,还能避免副本膨胀。

比如目前我们在自动驾驶的开发过程,需要车辆行驶数据,再拷贝到高性能计算里来开发,未来我们用这一套数据,实际存储时可以及时对接到高性能计算的计算资源。不需要数据再在企业数据中心内反复全量拷贝,而是通过一套存储管理引擎DME进行统一管理,避免统一数据副本流动,使得热冷温数据按需调配。

统一数据管理要做到Storage for AI,我们更需要做到AI for storage,这是我们在云端的训练,使得企业未来使用AI的方式做好精准的规划,全局业务发放,智能运维和敏捷业务配置。目前,我们已经能够做到规划用一周的时间调研,大约五分钟做好全局资源发放,对比人山会海三小时的优化,五分钟就可以实现智能调优,包括未来故障预测可能提前几个月,资源预发放扩容提前一年就可以,这是AI for storage,是设备到数据中心的变化,数据中心未来还有一个趋势,需要更加走向云化,让企业更好的走向云的时代,敏捷的业务开发。

ALL IP 推进数据中心网络云化变革

我们认为数据中心目前还有一件事没有做好,就是存储的IP化,目前华为的存储,不管是高可靠的存储,还是海量的存储,都已经在我们自己的NVMe-oF基础上得到数据的验证,它的性能也更好,而且这样的网络能够大大的使得存储走向成熟,这样的网络瓶颈能从毫秒级走向微秒级的能力,这是我们希望未来几年走向全IP。   

数据管理还需要适配容器。不仅如此,未来企业由于数据资产、安全等问题,不可避免很多业务会分割存储,造成云时代的新silos(竖井),必须把数据变成云能够识别的原子级能力结合到里面去,未来存储应该是一套的,但要连接到多云,打破新的silo形态。

构建平滑演进能力,打造有生命力的存储底座,彻底解决搬迁难题

所谓的新时代打造新数据中心,以闪存为主力核心的方式打造未来存储,但是未来的存储可能不再是以介质来定义,更多的可能需要靠网络和架构,尤其是架构这一生态定义,因为存储不再是以前单独的封闭系统,必须考虑到面向云业务和上层业务的变化,以此来适应新数据中心的变化,那数据变化,必须有一套架构同时满足高性能、高可靠,统一高效的存储管理,面向多云的服务化连接和介入,具有平滑演进的能力。华为也会持续向着这些方面研究,与合作伙伴携手为更多企业的数字化转型提供更好的前进方向。

2020中国数据与存储峰会

2020年11月18日,在北京召开的”2020中国数据与存储峰会”在北京举行,吸引了线上线下数千名行业内人士的共同关注。

本次峰会为期两天,由百易传媒(DOIT)主办,以”新数智·新未来”为主题,特邀中国工程院郑纬民院士以及中国电子学会、中国计算机学会存储专委会、SNIA等单位的嘉宾,与西部数据、英特尔、浪潮、IBM、华为、戴尔科技集团、新华三、深信服、紫晶存储、青云QingStor、威固、Memblaze等领先供应商以及北京建工、平安科技、红星酒业等典型企业用户代表,探讨新数据时代存储技术发展趋势,分享数字化转型成果,共话智慧存储未来。