生成式AI可能迎来下一个风口:TTT模型

支持Sora等模型的Transformers架构“大脑”是查找表、所谓隐藏状态。不同与Transformers,TTT不会随着处理更多数据而不断增长,它用机器学习模型取代隐藏状态,就像AI的嵌套娃娃,是一个模型中的模型。

下一代生成式人工智能(AI)的焦点可能是简称TTT的测试时间训练模型。

Transformers 架构是 OpenAI 视频模型 Sora 的基础,也是 Anthropic 的 Claude、谷歌的 Gemini 和 OpenAI旗舰模型GPT-4o 等文本生成模型的核心。但现在,这些模型的演进开始遇到技术障碍,尤其是与计算相关的障碍。因为Transformers 在处理和分析大量数据方面并不是特别高效,至少在现成的硬件上运行是这样。企业为了满足Transformers 的需求建设和扩展基础设施,这导致电力需求急剧增加,甚至可能无法持续满足需求。

本月斯坦福大学、加州大学圣地亚哥分校、加州大学伯克利分校和 Meta 的研究人员联合发布,他们耗时一年半开发了TTT架构。研究团队称,TTT 模型不仅可以处理比 Transformers 多得多的数据,而且不会消耗像Transformers那么多的计算电力。

为什么外界认为TTT模型相比Transformers更有前途?首先需要了解,Transformers 的一个基本组成部分是“隐藏状态”,它本质上是一个很长的数据列表。当 Transformer 处理某些内容时,它会将条目添加到隐藏状态,以便“记住”刚刚处理的内容。例如,如果模型正在处理一本书,隐藏状态值将是单词(或单词的一部分)的呈现形式。

参与前述TTT 研究的斯坦福大学博士后Yu Sun最近对媒体解释说,如果将Transformer 视为一个智能实体,那么查找表、它的隐藏状态就是 Transformer 的大脑。这个大脑实现了 Transformer 众所周知的一些功能,例如情境学习。

隐藏状态帮助 Transformers变得强大,但它也阻碍了Transformers的发展。比如Transformers 刚刚阅读了一本书,为了“说”出关于这本书中的哪怕一个字,Transformers 模型都必须扫描整个查找表,这种计算要求相当于重读整本书。

因此,Sun和TTT的其他研究人员想到,用机器学习模型取代隐藏状态——就像 AI 的嵌套娃娃,也可以说是一个模型中的模型。与 Transformers 的查找表不同,TTT 模型的内部机器学习模型不会随着处理更多数据而不断增长。相反,它将处理的数据编码,处理为被称为权重的代表性变量,这就是 TTT 模型高性能的原因。无论 TTT 模型处理多少数据,其内部模型的大小都不会改变。

Sun认为,未来的 TTT 模型可以高效处理数十亿条数据,从单词到图像、从录音到视频。这远远超出了现有模型的能力。TTT的系统可以对一本书说 X 个字,却不需要做重读这本书 X 遍的复杂计算。“基于 Transformers 的大型视频模型、例如 Sora,只能处理 10 秒的视频,因为它们只有一个查找表‘大脑’。我们的最终目标是开发一个系统,可以处理类似于人类生活中视觉体验的长视频。”

TTT 模型最终会取代 transformers吗?媒体认为,有这个可能,但现在下结论为时过早。TTT 模型现在并不是Transformers的直接替代品。研究人员只开发了两个小模型进行研究,因此目前很难将 TTT 与一些大型 Transformers模型实现的结果进行比较。

并未参与前述TTT研究的伦敦国王学院信息学系高级讲师 Mike Cook评论称,TTT是一项非常有趣的创新,如果数据支持它能提高效率的观点,那是个好消息,但他无法告诉判断,TTT是否比现有的架构更好。Cook说,他读本科的时候,有一位老教授经常讲一个笑话:你如何解决计算机学中的任何问题?再添加一个抽象层。在神经网络中添加一个神经网络就让他想起了这个笑话的解答。