AI技术的迅速发展正在推动从自动化到内容生成等多领域实现质的飞跃。为了保障AI应用的顺利运行,存储作为AI基础设施的核心组成部分,必须能够满足AI处理海量数据时的高要求。
AI工作负载通常分为训练、推理和应用部署三阶段。模型训练需要大量数据的输入,推理过程产生的非结构化数据也非常庞大。为确保AI能够高效地工作,对存储系统的吞吐量、低延迟和大规模扩展性支持又提出了更高的要求。
AI和ML工作负载在训练和推理过程中会使用大量并行处理。通常,这些工作由图形处理单元(GPU)或类似硬件来完成,这意味着存储系统的I/O性能和并行数据处理能力至关重要。AI处理的数据往往是非结构化的,例如图像、视频或物联网(IoT)传感器生成的海量小文件,这对存储系统的架构设计提出了更高的要求。
AI工作负载的I/O需求通常是大规模并行处理,并且依赖于高性能存储以支持训练和推理过程中的大数据吞吐量。存储系统必须具备以下几个特性:
1. 低延迟:AI模型训练过程中,存储系统需要快速将数据传输给处理单元(如GPU),以确保硬件资源得到最佳利用。低延迟的存储系统可以大幅提升模型训练速度。
2. 高吞吐量:AI工作负载产生的数据量通常是TB甚至PB级别,因此,存储系统需要能够支持高速的数据传输,确保数据能够在短时间内加载到AI处理器中。
3. 数据存储类型多样化:AI训练和推理使用的数据可能包括大量的小文件(如IoT数据)或大型对象(如视频、图像)。因此,存储系统需要能够适应各种不同的数据格式和大小,并确保数据的高效管理。
4.数据的长期保存:在AI项目中,某些数据在初期阶段可能并未被视为关键,但随着项目的进展,可能会变得至关重要。因此,存储系统还需要能够支持大规模的长期数据存储和归档。
当然各色存储厂商对于AI工作负载提供的存储方案也是同而不同。
比如,戴尔则通过戴尔AI Factory硬件堆栈,包含台式机、笔记本电脑和高性能服务器如PowerEdge XE9680拥有高计算能力,适合处理大模型和数据工作负载、PowerScale F710基于PowerEdge R660的1U机架式存储设备,提供高性能和大容量,适用于AI、大数据分析、高性能计算、基因组学等现代工作负载,并通过英伟达的AI基础架构验证。戴尔还通过Apex服务计划提供弹性的存储服务,满足企业不同规模的AI存储需求。
浪潮信息聚焦行业客户的大模型落地需求,推出了新品分布式全闪存储AS13000G7-N系列,还有发布基于AS13000G7的AIGC存储解决方案,与上层的EPAI/AIStation调度软件相结合,通过智能预读和故障处理技术服务用户。方案还通过全局命名空间和数据冷热分层自动流转,实现数据在不同介质上的自由流动,提升存储效率。
新华三在存储方面,推出新一代AI存储——Polaris系列,将Storage For AI和AI In Storage思路融合。Storage For AI通过全闪介质(性能加速)、数据池化和AI智能管理特性满足AI业务负载对存储设备的性能和功能需求,AI In Storage融入AI技术在智能运维、智能加速、智能助手等工具,大幅降低存储设备在运维、管理、排障、规划、配置、优化等方面的工作量和成本。并且传统GPU和存储架构中,GPU访问存储数据需要绕行CPU,存算融合方案支持GPU直联。
IBM的Spectrum Storage for AI产品线与AI应用深度融合,支持从训练到推理的全流程数据处理。IBM的存储系统采用了智能化的存储管理工具,能够根据数据的使用频率和类型动态分配存储资源,提升存储性能的同时,确保数据的安全性和可用性。此外,IBM还推出了专门针对AI项目的解决方案,能大规模扩展存储容量,支持海量非结构化数据的高效存储与管理。
西部数据今年推出一个六阶段的数据处理框架,分别是原始数据存档和内容存储、数据准备和采集、AI模型训练、界面和提示、AI推理引擎、新内容生成,可用于人工智能的数据处理周期。西部数据也战略性地定制了其产品,以满足人工智能数据处理周期每个关键阶段的存储需求,其中包括,用于人工智能训练和推理的强大 PCIe Gen5 SSD,用于快速 AI 数据湖的高容量 64TB SSD,全球容量最高的ePMR UltraSMR 32TB硬盘,实现经济高效的存储。
Pure Storage是提供Evergreen//One 解决方案能够满足能够提供高性能和平台整合,确保企业能够优化其AI存储。并通过持续、无中断的升级,确保AI投资面向未来,保持先进的基础设施。还有提供可预测的成本,消除大量资本支出,允许更好的预算分配。
总结
当然还有更多的存储厂商对AI存储有不同的切入点,大家都在不断优化自身解决方案满足AI的需求,确保AI模型的训练和推理过程更加高效、智能。未来,随着AI技术的持续进步,存储与AI的协同将进一步加深。欢迎大家参与11月8日2024中国数据与存储峰会,走进AI+存储协同发展论坛,了解更多关于AI与存储的故事。