近年来,生成式AI(AIGC)迅猛发展,成为科技领域热点。AIGC通过深度学习和自然语言处理等方法,能够自动生成高质量的文本、图像、音频和视频等内容。这些生成内容在媒体、娱乐、广告、教育和医疗等多个行业中展现出巨大潜力。随着算法的不断优化和计算能力的提升,AIGC的生成效果越来越逼真,应用场景也越来越广泛。
相应地,AIGC技术的快速发展,对数据存储提出了更高的要求。首先,AIGC模型的训练需要大量的数据,这些数据需要高效、安全的存储解决方案。其次,AIGC生成的内容数据量巨大,需要存储系统具备高性能、高容量和低延迟的特点。此外,AIGC应用的实时性要求存储系统能够快速响应,以支持实时生成和即时访问。
闪存存储因其高速读写和高可靠性的特点,成为AIGC数据存储的理想选择。闪存能提供高速的数据读写能力,满足AIGC模型训练和内容生成的需求。同时,闪存存储系统的扩展性和灵活性,也能够适应不断增长的数据量和多样化的存储需求。
AIGC与存储的创新火花
AIGC促进存储发展的着力点很多,比如近期曙光存储发布的两款新品——全球首个亿级IOPS集中式全闪存储FlashNexus,还有ParaStor分布式存储,体现曙光存储对AI时代到来的积极响应。FlashNexus集中式全闪存储具备百控级扩展能力,实现了软件全自主开发,并与国内芯片厂商紧密联动,打造了关键业务安全可控的存储平台。FlashNexus采用NexusMatrix技术,实现了99.99999%的高可靠性。
ParaStor分布式存储升级,尤其适用于容器化AI平台使用,能够显著提升全平台的整体性能。ParaStor还针对AI大模型存储加速进行了优化,具备五级加速方案,包括本地内存加速、BurstBuffer加速层、XDS双栈兼容、网络加速和存储节点高速层,以满足AI时代对存储性能的高要求。
还有华瑞指数云推出的软件定义存储2.0(SDS 2.0)产品ExponTech WDS,是为满足AI技术对数据处理的高性能需求而设计。通过极速分布式块存储WDS,提供高达30倍的IOPS提升和90%的时延降低,支持AI应用的实时数据分析和复杂计算任务。SDS 2.0的高性能和低时延特性,使其成为AI驱动的数据密集型应用的理想存储解决方案。
此外,SDS 2.0的国产自主可控特性,为国内AI应用提供了安全、可靠的数据存储平台,有助于推动国内AI技术的创新和发展。
AI的发展还在不断推动PCIe接口的不断升级,以便提供更高带宽和更低延迟,满足AIGC模型复杂度不断提升的需求。比如Memblaze忆恒创源作为全球早期进入企业级PCIe SSD领域的团队之一,其PBlaze系列NVMe SSD产品已在多个关键技术领域获得广泛应用,包括数据库、虚拟化、云计算、大数据和人工智能等。公司通过不断的技术创新和产品升级,成功推出了多款高性能的企业级SSD,如PBlaze5、PBlaze6和PBlaze7系列。到2024年7月,Memblaze宣布其PCIe 5.0企业级SSD在短短8个月内累积出货量超过10万块。
浪潮信息也推出了基于新一代分布式存储平台AS13000G7的AIGC存储解决方案,该方案通过EPAI/AIStation的资源调度能力,以及AS13000G7的产品优势,满足了大模型应用对存储性能、容量及数据管理的苛刻要求。同时,浪潮信息提出GPU计算集群算力与存储集群聚合带宽的推荐配比,实现检测点数据60秒内写入和读取恢复,提高大模型训练效率。
运行大模型做训练和推理会需要更多的CPU/GPU服务器,尤其是用于GPU的高带宽内存HBM。比如Solidgm,在本周有韩国媒体报道称,SK海力士正在考虑让子公司Solidigm在美国进行IPO。得益于AI市场的热度,还有市场对英伟达显卡的强劲需求,相应HBM芯片需求也在不断增加,SK海力士的HBM显然更具优势。
最后
存储适配AI,AI创新存储,这也是2024全球闪存峰会举办AIGC存储技术论坛的初衷,我们有幸邀请到了华中科技大学特聘教授、中国计算机行业协会信息存储与安全专委会会长谢长生,还有如曙光存储、华瑞指数云、Memblaze、Solidgm等领先企业代表发表技术演讲,共同深入探讨AIGC与存储技术的融合创新,共同激荡出更大的火花,照亮存储未来发展之路!
8月28日下午,南京金陵饭店,2024全球闪存峰会之AIGC存储技术论坛见!