“高端存储知识”公众号作者、存储圈知名KOL西瓜哥在2024数据基础设施技术峰会-“分布式存储技术与应用论坛”的现场,从市场和技术的角度全面分析了分布式全闪的发展。
通过对咨询公司在2023年中国企业存储的相关数据的解读,帮助大家了解了分布式全闪增长的市场驱动力。在技术方面,介绍了以Shared-Everything架构为代表的厂商技术和产品的新进展。
西瓜哥指出,分布式全闪成为热点,将引领国内企业存储市场发展,SSD涨价和部分信创服务器涨价可能影响分布式全闪的推广。闪存利用率成为分布式全闪普及的关键因素,分布式全共享架构优势很大,但目前市场可选择的产品不多。同时,AIGC的CheckPoint写问题,全共享架构也需要优化,单卷性能将会成为各个分布式闪存产品的竞争热点,全共享架构相关技术还在不断完善,将会推动分布式全闪的快速发展。
回顾2023年分布式全闪市场和技术情况,首先,中国企业存储ESS整体趋势是下降的。其实中国企业存储多年高速增长,去年应该是是这一段时间来第一次下降,疫情以后以为有一个比较好的反弹,但是目前看还是比我们想象的差一些。
但是我们看到也有一些亮点,比如说传统存储虽然在下滑了,但是分布式存储、超融合这一块是保持增长状态。IDC预测,今年可能会超过传统存储的份额。
整个中国全闪市场占比是24%,也差不多是1/4的这样比例。这个成绩其实大家可能判断不出来怎么样,和国外的差距是在缩小,但还是蛮大的,我印象中,美国存储里面全闪的占比的话应该是将近一半左右。
全闪在中国还是在增长,主要推动力可能在于信创、AI。全闪的增长主要在分布式的市场在增长,这也是IDC第一次在报告里面披露这个份额,原来全闪这个份额不分为分布式和集中式,它第一次披露了这个份额。2022年分布式全闪化的比例可能只有7%,去年增到11.7%,在分布式存储里面,全闪比例也在增长,当然比集中式全闪的增长的比例还是要低一些,我们看到这是一个快速增长的状态。
在分布式的架构存储里面,如果是软件定义存储的全闪的话,大概是有16.1%是全闪的形态在销售,我觉得主要是AI的推动。AI的存储下面就需要这种全闪的存储,因为它要满足很高的性能,才能满足GPU的要求。
第二,我们看到整个超融合全闪的话比例很低,只要5.1%,实际上市场上我们看到也是宣传全闪的存储,包括是集中式存储和分布式存储都很多,但全闪的超融合好像相对比较少,只做全闪的超融合没有多少。全闪超融合,我想象中需求量也挺大,但实际上它的比例就是比一定存储要低一些,我想不应该这么低。
端到端NVMe其实在市场上是一个主流了,IDC报告里面,我看我们看到有68.7%的存储都是多MME的,但很多端到端NVMe存储的话,他们用的盘都不是NVMe的盘,所以说实际上它是个假的,说它这个存储支持NVMe,它可能会有兼容性,它也可以插 SATA SSD,所以说实际上他并没有发挥端到端NVMe的好处,因为端到端NVMe包括盘都是要NVMe的,不光是前端,后端可能都一样。
第二,我们可以看到QLC在全球的进展都很鼓舞人心,但是在中国,其实我们也看到中国的数据,看了全球数据,确实QLC我看到预测,2027年份额很大,40%多可能在QLC,但是在中国其实我们也看到这个情况,因为主要是信创的原因。
目前市场上没有量产的国产的QLC的盘,企业级的QLC生态在国内我还没有看到,确实是有一个问题,先有鸡先有蛋的问题,因为盘做出来,厂商没有去适配,也用不了。大家知道QLC的寿命只有几百次,如果是软件做的不好的话,其实不敢去用QLC,随机写的性能是比较差的,而且写寿命是比较低的,所以软件必须做非常好的优化才能解决这个问题。
没有盘那就不去做,不去做的话大家可能厂商推出不好卖,所以现在是一个僵持的阶段,希望能打破平衡点。国外已经在成功了,因为国外追求功耗,虽然卖的比QLC的贵,但用户为什么买它呢,因为它单盘的密度高,所以说整体TCO是可以提升的,这是它的价值。
市场价格方面,闪存盘价格升得很厉害,跟去年同期最低点对比,我现在买那个盘就采购上讲,基本上是两倍多的价格了。为了信创,为了AIGC可能全闪就是一种刚需。全闪现在盘又那么贵,如果按去年的价格做预测的话全闪不一定能买的上了,所以说这块是大家要考虑的问题。
有些厂商的话现在就开始推EC,压缩等等,不能完全是追求性能了,要均衡考虑,追求闪存有效比。而且估计未来闪存还在涨价,生产线的调整不像我们做消费品那么很快,它生产线的调整停产了再上新的生产线去再生产回来,周期都是半年为单位,市场反应是最少滞后半年一年的。
看看技术的问题,去年我比较重点看架构的一些转型,去年我讲了纯工程架构,现在讲讲目前支持纯工程架构的一些厂商的进展的情况,看看他们针对目前AIGC的一个时代,他们有没有更好的一个思路,或者说针对目前市场的情况有没有更好的思路。
VAST DATA是业界首款分布式存储架构的非结构化存储,因为他目前还不支持块,去年年底就说它可能今年要推出块的功能,现在目前暂时还没有看到,所以说它更多定位还是做文件和对象,非结构化这一块。目前的话它的产品发展的还可以,卖得很好,现在估值估值已经将近100亿美金。它给我们最大的卖点不是它的架构,因为普通用户管他用什么架构,但是他给我们兴趣点就是它便宜,因为他跟我说它的成本可以做到硬盘低,这是它最大的卖点,当然说用要一定的性能,要定容量的情况下,它也是大规模情况下是它的一个优势。
第二是我们看到这个市场变化太快了,现在闪存的价格,业界可能知道,特别是海光服务器的价格就涨,这边涨的比较厉害,所以说这些都会影响到我们线上存储的推广,特别是全闪的推广,你用更多的服务器节点,用更多的盘,这块都是成本的问题。所以说其实大家很多开始关注全闪的效率的情况,闪存的使用率这两年会比较关键,所以很多厂商现在现在还没有支持EC的话,可能尽快要做,光用三副本的话,我个人感觉可能就越来越难卖了。
虽然有的厂商推出了一个全控架构的产品,但是我们现在看到其实这个架构可能有一定的好处,在线上确实可选择的产品并不是很多,还没有形成一个趋势,还有大的趋势,但是这也是一个新的技术发展的现状,因为一个新的架构要做成产品周期都会比较长,也需要市场去进行消化,这是一个现状。但是我相信它的价格优势还是有的,而且未来它可能会更有优势。
所以说我们看到整个架构与技术也在不断发展,市场上相比的产品不是很多,但是他们也在不断迭代演进,而且目前看进展也蛮快的,所以我们希望再给他们一点时间看看时间,看看能不能会有更多产品出来,看到类似这样的产品出来,会更适合我们国情的这种产品和技术,来帮助我们快速去迭代,跟上世界发展。
(详细内容可参考会后专题:https://sdss.doit.com.cn/2024/#/home)