迎接存储挑战
当前,各行各业数字化转型产生的海量数据为企业和传统数据中心带来了各式各样的存储挑战。仅就IoT领域,到2024年,将会有70%的企业需要处理物联网数据,会有380亿物联网在线设备。业务的发展意味着数据的爆炸式增长,基于IDC数据,到2025年,有超过100ZB的存储缺口。机械硬盘成本低廉,但是随机性能低下,无法满足高并发需求。新兴的SSD性能优异,但是价格昂贵。容量更高、寿命更优、性能更优的企业级产品一直是各大存储厂商的目标。
QLC作为一种容量优化的NAND闪存存储技术,和当前市场主流的TLC相比,可将闪存密度提高33%,又因其成本更低,吸引了各大存储厂商竞相挖掘其潜力。但是QLC需要更高的电气精度来解决在读/写期间管理多个电压状态的额外复杂性,这导致了QLC设备的性能,寿命和可靠性降低。QLC的寿命几乎是TLC的五分之一,随机写性能比TLC低1~2个数量级,可靠性也比TLC更差。因此在数据中心级的业务场景中受到很大限制。
有没有一种方案既能发挥QLC的容量优势,又能最大程度的优化QLC性能和寿命的不足呢?为什么选CSD2000 NVMe QLC SSD?QLCNAND加上ScaleFlux的透明压缩解决方案,通过在盘内集成的可计算存储引擎-透明压缩/解压功能,在数据具有较高可压性时,在IO路径上先对数据进行压缩之后再写入NAND闪存介质中,大幅降低了盘内物理空间的使用率,使得盘内空闲空间比标盘相比有显著优势。因此,盘内写放大、垃圾回收GC以及同一个Die中的读写冲突也就相对标盘能大幅降低,从而带来了性能和寿命的大幅提升。采用QLC NAND的CSD 2000 SSD极大地弥补了QLC本身的缺陷,能够极大地提升QLC设备的性能和寿命,使得QLC设备能够进入到写入要求高的数据中心级场景。01
更具性能优势下图展现了某超大规模客户,真实业务场景数据压缩率3:1以上,CSD2000 NVMe QLC SSD在随机混合读写的工作负载中,IOPS性能比友商提升42倍。
02更长的寿命和更高的稳定性
下图展示了在标准写放大测试下压缩能带来的收益:企业级7.68TB的CSD2000 NVMe QLC SSD设备处于1:1的数据压缩比时,写放大因子为4.83,当数据压缩比为2:1时,写放大因子为0.55,写放大降低89%。而写放大降低带来的直接好处就是寿命增加。
所以,ScaleFlux的透明压缩技术,不仅可以有效降低写放大,还可以大幅度延长QLC的寿命:随机场景下,7.68TB的CSD2000 NVMe QLC SSD的64K随机写的寿命(2:1 压缩率)是16PBW,友商的15.36TB QLC SSD的64K随机写的寿命是10.78PBW。ScaleFlux的透明压缩和QLC的结合完美地弥补了QLC在性能,寿命和稳定性方面的短板,突破了其在写入负载方面的局限性。极大地拓展了QLC在数据中心的应用。可计算存储下的QLC:突破QLC的介质限制
腾讯云发现ScaleFlux的SSD设备通过下推压缩的算子可以显著降低闪存的写放大,提升随机写入的性能,于是在2020年开始和ScaleFlux一起探索将透明压缩与QLC NAND介质相结合来解决QLC的随机写入性能和寿命的问题, 并于2021年Q2开始了QLC NVMeSSD的在线应用。
腾讯云NPI负责人陈烽英表示:“我们看到,5G时代已经到来,在IoT、AI、区块链、自动驾驶等新兴技术中,以及在各种云存储、CDN等应用场景中,QLC因其低成本高容量的特性,将会有极大的发展空间。而QLC作为行业热点趋势,不仅驱动了新技术的发展,也带动了更多应用场景上的探索。我们希望通过与ScaleFlux在QLC NVMe SSD方面的合作,将可计算存储技术在存储方案中的独特价值发挥出来。”
ScaleFlux主力参与推动的可计算存储是一个新兴领域,ScaleFlux首席科学家张彤教授表示:透明压缩是开启计算存储盘(CSD)商业化的最佳选择,主要有两个原因:(1)透明:存储内透明压缩不需要对现有存储 I/O 软件堆栈进行任何更改,这确保了透明压缩可以无缝集成和部署到现有基础设施中,无需应用程序修改任一代码。(2)无损无负担:除了非常广泛的适用性之外,无损数据压缩涉及大量随机数据访问,这不可避免地会导致非常高的CPU/GPU缓存未命中率,从而使CPU/GPU硬件利用率非常低。因此,缓减主机端CPU/GPU执行无损数据压缩的负担变得极为重要。腾讯云主导的QLC介质和透明压缩的结合将突破QLC在写入负载方面的局限性,为其在数据中心的广泛应用打下基础。
写在最后
ScaleFlux作为一家在闪存存储领域的创新性产品提供商,主打带透明压缩企业级SSD和SSD控制器产品。通过压缩来提升读写性能,提高稳定性和SSD寿命,让企业在成本,性能,安全之间找到最佳的平衡,打破传统存储的限制,为企业降低一半以上的存储成本,使企业不再为日益增长的数据存储担心,可以投入更多的精力到产品研发和业务发展中,真正做到降本增效。