跟上“存储”领先者的步伐​

都说“榜样的力量”是无穷的!创新存储领域谁才是当之无愧的领先者?

我认为应该首推云服务商和IPFS存储运营商,也因为技术的领先,让云服务商、IPFS存储运营商在市场上具有统治力和领导力。在存储技术的选择和运用上,云服务商、IPFS存储运营商有一个共同的特点,就是注重成本和效率的应用,所谓人尽其才、物尽其用。

有数据表明:数据存储市场需求快速成长,到2024年,在终端、数据中心边缘和数据中心全球将产生143ZB数据,其中,中国数据量为36ZB,但是其中,只有1.5%左右的数据会被存储和保留,大量的数据没有办法得到存储和处理。其中,非常重要的一个原因,就是数据存储成本,也就是GB/$成本无法满足数据存储的需求。

云和IPFS厂商的选择

GB/$成本仍然是数据存储必须跨越的主要障碍,存储工业界为此做出了不懈的努力,无论SSD、还是HDD都在为此而努力,其中,SSD从3D NAND多层堆叠,到SLC、MLC、TLC、QLC存储单元存储的bit数据;与HDD有关SMR、TDMR、ePMR、TSA、氦气填充等技术,其目标和方向都是一致的,为降低GB/$存储成本而奋斗。

如何能够把创新SSD、HDD的技术付诸实践,将科技转化为生产力?云服务商和IPFS存储运营商做出了很好示范

有统计数据表明:从2017年到2021年,云服务商用了4年的时间,将18TB大容量硬盘作为了数据存储的主流;与之相比,IPFS存储云供应商的步伐更快,仅仅用了4个季度,18TB大容量硬盘就成为了主流。

不要小看单盘存储容量,从14TB到18TB的容量变化。

有数据表明,从14TB到18TB,单盘容量增加了29%,单位功耗减少21%,实现相同的存储系统容量,可减少服务器用量22%。总体拥有成本降低17%。

恰是因为看到了科技进步的价值,云服务商、IPFS存储运营商果断做出了选择。

以Dropbox为例,通过与西部数据合作,通过部署大容量的20TB SMR HDD磁盘,降低了存储成本,为用户提供了价值。

与中心化的存储方式相比,IPFS存储(InterPlanetary File System,星际文件系统)面向全球构建了一个点对点的分布式版本文件系统,利用基于验证内容的哈希的地址,来替代基于域名的地址,用点对点的IPFS存储协议,替代集中式超文本传输协议(也就是HTTP)。IPFS将存储的技术与区块链技术结合,为企业级用户提供了新的存储选择。

IPFS存储在去中心化、性能和数据容量方面进行了积极的尝试。对于IPFS存储运营商而言,在创业的初期,成本效率会是重中之重大容量硬盘成为不二的选择。作为存储行业的领导者,西部数据也是IPFS分布式存储技术服务商的重要合作伙伴。双方通过在存储解决方案上的合作,充分利用彼此的优势,共同探讨、搭建更好的分布式存储生态项目,为 Web3.0 夯实基础。

此前,杉岩数据联合西部数据,共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台,并针对 IPFS 进行了优化的解决方案。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能,并对时空证明请求进行了优化,使其可以获取多个文件的多段内容。

西部数据也与浪潮、星辰天合多方携手,联合推出IPFS 解决方案。在软件层面,该解决方案搭载了专为 IPFS 场景而生的 XSFS(XSKY Scalable File System)系统,通过全新的存储技术手段,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,在保证数据高安全性的同时,打破存储规模壁垒,降低 IPFS 建设的投入,满足 IPFS 业务存储需求。

在硬件层面,该解决方案包括浪潮英信服务器 NF5466M5、西部数据 Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盘以及 Ultrastar Data60 JBOD 存储平台。通过搭载 44 块/36 块大容量的 Ultrastar DC HC550 HDD,NF5466M5 为 IPFS 存储提供了海量的存储空间,并借助硬盘的高稳定性,显著降低复制证明和时空证明提交过程中出现错误的几率。

长城超云也以西部数据高性能大容量企业级硬盘Ultrastar DC HC550 18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。

行业企业用户的新课题

与之相比,传统行业/企业的步伐稍显缓慢,并没有跟上SSD、HDD的发展步伐。传统企业级用户选择存储的容量偏小

为什么会是这样呢?

在日前深圳举行的2021深圳国际大数据与存储峰会暨展览会上,西部数据公司副总裁兼中国区业务总经理刘钢指出:企业级用户对于存储的需求,呈现出一种分层存储的特征,既有对热数据、温数据的存储需求,也有对冷存储和极冷存储的需求。

西部数据公司副总裁兼中国区业务总经理刘钢

“目前还没有一种单一存储技术或介质能够同时满足极致性能、极低成本的需求。” 刘钢说。

针对不同的应用需求,需要注重发挥不同的技术组合,扬长避短。灵活组合。简单说,要发挥西部数据Ultrastar SN840 NVMe SSD和西部数据Ultrastar SN640 NVMe SSD的性能优势,也要发挥SMR、CMR等大容量硬盘的成本优势。

以SMR为例,能够提供更大的磁盘容量,但是也需要注意,采取数据顺序写入的方式,以QLC NAND介质为例,在GB/$上优势明显,但也存在写数据寿命的限制,适合一次写入,多次读取的应用场景。不仅如此,在单盘的固件、以及控制器的设计上,保持读写性能的平稳,避免过大的性能抖动,这都需要很深的技术功底,并非市场上所有产品都能够满足。而西部数据不断创新的解决方案则可以满足用户这些多样化的要求。

小结

所谓兵无常势,水无常形,面对纷繁变化的市场,以及日新月异的技术演进,传统企业级用户需要把握时代的节奏,赶上时代的发展步伐。其中,存储将是一个非常好的试金石!