近期,有消息人士透露,横向扩展文件系统供应商WEKA裁撤了50个员工岗位,一般听到这感觉是负面新闻吧,但是人家的解释却很合理——面相生成式AI时代重组自己的市场准入职能。还有就是词元经济崛起,不仅影响着存储行业,也在改变AI数据处理的商业逻辑。WEKA CEO 利兰·兹维贝尔的博客中,多次出现“Token”这个关键词,重新定义数据处理和存储的价值模式。他认为WEKA必须顺应这一形势,抓住机遇,并称 “token经济已至”。

在生成式AI的工作流中,数据首先要被切割为“词元”,这些词元是承载语义的最小单位。例如,在自然语言处理中,词元可能是一个单词、短语或字母。这些词元为AI模型的训练和推理提供了基础。
当数据管道不再只是单纯的传输,而是转向智能化处理时,存储系统的价值点发生了变化,不再仅是存储大量数据,而是通过“词元化”技术提取数据的深层价值。
由于生成式人工智能的影响,WEKA的市场正从传统的高性能计算(HPC)和企业分析领域发生转变。兹维贝尔表示,生成式AI和企业AI市场持续爆发式增长。AI行业的创新速度惊人,为企业,、政府和研究机构带来了机遇。
如今,为生成式AI模型训练和推理提供数据及数据管道的竞争异常激烈。比如DOIT将在3月27日召开人工智能基础设施峰会,DDN将在3月17日英伟达的GTC25大会上举办人工智能数据论坛,VAST Data推出专为人工智能设计的数据基础设施,所有主流存储供应商纷纷涌入这个市场,同时Cloudian、MinIO和Scality等对象存储供应商也蜂拥而至。此外,还有数据管理和编排企业,如Arcitecta、Hammerspace、Komprise等正在构建以人工智能为核心的数据管道。在整个存储行业,生成式AI推动了以AI为核心的发展。
词元经济正在重塑价值分配法则——存储系统的价值不再仅仅取决于装载了多少数据,而在于能提炼出多少可用词元。这种转变类似于从原油贸易进阶到精细化工产业,可能会催生出新的职业,如存储咨询师、词元精算师、AI存储合规专家等。