近日,在日本东京举行的Interop展会上,经过行业专家和顶尖学者多轮严格评审,华为新一代OceanStor存储Dorado系列,凭借“具有压倒性的性能和稳定的极低时延,支持通过AI芯片对I/O处理进行自我优化。”一举夺得Interop Tokyo 2020 Best of show Award 金奖。这也是继2017年上一代OceanStor存储Dorado系列获奖后,再次获此殊荣。
“这是业界首款将AI模块应用在存储里的产品”评审团的一位专家说道,“凭借这款内置在存储里的AI插件,OceanStor存储Dorado系列能够实时智能地分析工作负载,不断优化缓存预取算法,提高读取命中率,并且随着时间的推移,系统性能提高20%。”
华为率先将AI能力内置于存储系统,这项创新获得了Interop 专家评审团的一致认可。这背后是华为研发团队坚持不懈的努力。接下来,我们就让华为OceanStor存储Dorado系列产品首席架构师张鹏,来为大家揭秘首款内置AI模块的存储背后的故事。
高端存储产品由于追求极致的可靠性,所以看似固执守旧,其实却蕴含新生机。人工智能技术的崛起,赋予了高端存储新的生机。
“要让一个存在几十年历史的产品焕发活力,必须思考加入一些创新性的技术。”张鹏如是说。为此,华为在OceanStor 存储Dorado系列中加入了大量的智能技术,“华为在AI算法方面投入很大。”比如,采用 AI模块基于机器学习框架,主动分析并掌握多个应用模型的IO规律,让读缓存命中率持续提升。
“OceanStor存储Dorado系列这种全互联、全共享的架构,非常适合采用机器学习这些人工智能技术,对IO进行全局的学习和分析,实现存储操作更加智能化,从而提升系统的性能和效率。”张鹏补充道。
内置智能AI模块,学习IO规律,优化预取算法,提升系统性能
我们都知道读Cache是存储系统常用的加速手段,就是把数据预先从硬盘中取出来,放在一个比硬盘更快的地方,通常用的介质是RAM。针对读数据的任务,CPU会先去读cache里面查找,找到了就反馈给前端接口卡,由前端接口卡传送给用户,如在cache中未找到才会去硬盘里面找。很明显,最理想的情况就是所有的读数据请求都能在读cache里面找到数据,这样是性能最高的。但是数据是杂乱的,任务是随机的,怎么知道应该提前取哪些数据放在读cache里面呢?
为了解决这个难题,华为OceanStor存储Dorado系列首创引入人工智能模块作为存储系统插件,提升预测准确率。
图一:AI模块 + 智能算法
那么内置的AI模块是怎么帮助提升预测准确率的呢?我们知道,存储系统收到的数据是一份一份的,每一份我们叫做一个I/O。不同的业务,发送过来的I/O是千差万别的。但是I/O不仅存在时空关联,而且也存在语义关联。时间关联就像是8点后面是9点,空间关联就像是中国的北面是俄罗斯和蒙古。语义关联就像我们说“北极熊是世界上…”,后面大概率是想说“体型最大的熊”。I/O也是这样,只不过我们需要把这些关联挖掘出来。知道了这些关联,自然就能提高预取的准确率了。
OceanStor存储Dorado系列中的AI模块集成了自调优的深度学习算法,可以对上层业务的全量I/O数据从时空关联和语义关联上进行快速分析和深度挖掘。当I/O过来后,它会立刻判断出即将访问的数据,并告诉CPU赶快取到读cache中。同时,它还在后台不断对已有数据进行二次学习,进一步提升准确率。最后是通过对预取命中率、浪费率、时延等关键性能指标进行评估,然后自主调整。
经过华为性能实测,OceanStor存储Dorado系列在同样带宽的前端卡(16G FC),同样的测试模型(随机读,64K以内I/O数据块大小),读cache命中率从19%提升到69%。
总结一下:
OceanStor存储Dorado系列中内置的AI模块,就像汽车的智能变速箱,它通过持续的自我学习,逐步提升,让存储系统加速,越用越好用。
回顾过去两年多的种种,张鹏感慨道:“OceanStor存储Dorado系列实现了很多开创性的东西,这在业界非常难得,也是我倍感欣慰的地方。”
AI智能赋予了高端存储新的生机,这正是Interop 评委团专家看到华为率先将AI模块植入存储系统中兴奋的原因:OceanStor存储Dorado系列,为业界树立了智能创新的标杆!
