要容量,也要性能!如何满足生成式AI提出的存储挑战?

过去这两年,AI技术走在了发展的快车道上,不断刷新能力边界,但这也对数据存储设施提出了新的需求。

生成式AI模型训练需要多种形式的数据,这对存储容量、性能以及成本管理都提出了很高要求。同时,AI大模型自身还会产生越来越多的数据。Gartner预测,2025年生成式AI产生的数据将占所有生成数据的10%,目前还不到1%。

于是,数据的存储、管理和价值挖掘将成为企业的战略性考量。如何帮助企业构建满足AI应用多样化工作负载,且更具有成本效益、可扩展性和可持续性的数据基础架构,对存储厂商自身的行业积累、技术优势、市场洞察和产品创新等具有较高要求。

2024年,如果考虑更大容量和有成本优势的存储,磁盘仍是当仁不让的首选方案,如果要考虑性能方面的需求,闪存存储也是不二选择。

作为全球范围内的大型存储供应商,西部数据不断推出创新的存储产品和技术,可以帮助企业用户解决AI提出的数据存储难题。2024年,企业在面对生成式AI带来的存储挑战时,不妨了解一下西部数据推出三个硬盘技术产品。

第一个,已经提升到了24TB的传统CMR盘

2023年,西部数据正式批量出货24TB CMR HDD——Ultrastar DC HC580,西部数据认为,HC580可以为企业级数据中心提供更的高存储密度,还有更好的能效表现。

24TB Ultrastar DC HC580 CMR HDD

HC580采用了OptiNAND 技术及其他容量增强功能,在 10 碟片的CMR盘上,实现了更高效的存储,使数据中心能够在有限空间内容纳更多数据。

大容量的加持下,HC580可以在4U 102盘位的平台中提供每个U 单位612TB的原始存储容量,实现更高的存储密度。

与西部数据此前发布的22TB HDD产品相比,新款24TB CMR HDD的能效更高,其每TB 的能耗减少了约12%。不仅能降低成本,还有助于企业的ESG目标。

然而,这还不是容量最大的,如果要想容量更大,进一步提升单盘容量,业内都把目光锁定在了SMR盘上。

第二个,28TB更大容量的SMR盘。

2023年,西部数据还发布了单盘容量高达28TB的磁盘,这就是Ultrastar DC HC680,它最大容量来到了28TB,存储密度又有进一步提升。

28TB Ultrastar™ DC HC680 SMR HDD

HC680是一块SMR硬盘,它也同样采用了OptiNAND技术、能量辅助磁记录 (ePMR)、三阶寻轨定位系统 (TSA)、氦气封装(HelioSeal)等容量增强技术。

HC680同样采用的是单盘10个碟片的设计,容量最终来到了28TB。惊人的28TB容量,意味着存储密度、每TB能耗以及每TB成本得到进一步的优化。

这里有必要提一下 CMR(传统磁记录)和SMR(叠瓦式磁记录)盘的主要区别。

CMR盘采用传统磁记录技术,每条数据轨道之间有间隔,不重叠。这种方式写入数据的速度更快,但存储密度相对较低。

SMR盘采用叠瓦式磁记录技术,数据轨道部分重叠,类似屋顶上的瓦片。这种方式可以在同样大小的盘片上存储更多数据。

简单来说,CMR的读写性能更高,适合读写频次多的场景,但存储容量相对会较小。而SMR是牺牲了一些性能,换来了更高的存储密度,也换来了更低的成本。

作为一块SMR的HDD盘,HC680主要的场景还是在大容量存储、在线备份、智慧视频、在线归档、云存储、合规性存储、大数据存储以及其他可能不常访问数据的应用当中。

业内人士指出,随着生成式人工智能等新兴应用的兴起,对大容量、低功耗和高可靠性存储的需求将进一步激增。所以,HC680将在高密度、绿色数据场景中发挥更大价值。

第三个,高性能闪存固态盘。

除了HC580和HC680 HDD盘以外,西部数据也推出了新的企业级固态盘——Ultrastar DC SN655 NVMe SSD系列。SN655以高性能、大容量为主要优势,适用于对闪存成本敏感的用户,适用于以读为主的场景需求,读性能更强一些。

Ultrastar DC SN655 NVMe SSD

SN655采用了自研的支持 NVMe 1.4b 的控制器,自家的BiCS5 TLC 3D NAND颗粒,还有自己研发的Firmware。SSD三大件全套都有的技术构成,在SSD市场上并不多见,它意味着可以实现性能和稳定性的极致优化。

SN655采用的是PCIe 4.0 接口,支持U.2和U.3的Form Factor。随机读取IOPS超过100万。高性能表现,有助于提高数据处理能力,在大模型训练场景中,可以减少GPU的等候时间,提高机器学习训练效率。

高性能对于机器学习的重要性体现在训练时创建Checkpoint的场景,训练经常需要持续几周甚至几个月,为了避免半路出错中断训练过程,所以,经常需要将训练的中间结果进行存档。为了更快地存储,然后从存档状态中恢复,也经常需要用到存储的高性能优势。

SN655采用了双端口冗余设计,支持故障转移功能,提供端到端数据保护,自身还具有断电保护功能,提供250万小时平均故障间隔时间和1.0 DWPD,5年有限保修。此外,SN655提供高 QoS 一致性,针对云计算和横向扩展工作负载进行了优化。

通过这些特性,SN655 NVMe SSD 在现代数据密集型应用中提供了卓越的性能和可靠性,帮助企业在机器学习领域实现更高效的数据处理。

帮助企业解决多样化的存储需求

当然,从存储到解决数据存储挑战中间还有很长的路要走。西部数据通过对客户数据应用的深入研究和沟通,凭借多年专业领域的积累,提供定制化的存储解决方案,满足企业针对新生技术应用场景基础设施部署的多样化需求。

西部数据一直以来都积极与合作伙伴在产品、技术和市场方面持续合作,与软件开发商、OEM和云服务商都做系统架构的优化合作,将最新的技术和产品交付样品给合作伙伴做联合测试,持续优化可能存在的瓶颈,最终打造出符合合作伙伴和市场需要的解决方案。

当下最火的是生成式AI,需要HDD和SSD来支撑企业提供更大的存储空间,更高的存储性能,西部数据的解决方案可以很好地满足其需求。在可见的未来,随着5G、AI大语言模型和自动驾驶等技术的发展,数据量还会显著增加。

在未来,企业级用户和云数据中心对存储解决方案的要求也越来越高。存储不仅要具备大容量、高性能,还要有低的TCO、更好的PUE表现和更好的可扩展性。西部数据要做的就是通过更多创新来满足这些多样化的需求,不断创新以发展未来的存储技术。