当地时间 12 月 10 日- 15 日，全球 AI 顶级会议 NeurIPS （神经信息处理系统大会）在加拿大温哥华举办，这一顶会涵盖了机器学习、深度学习、神经网络等多个研究方向。
官方数据显示， NeurIPS 2024 共收到 15671 篇有效论文投稿。投稿量创下新高，论文录取率为 25.8%，相比去年略有下降，来自中国的被收录的论文则很可观。公开数据显示，中国人民大学、字节跳动、蚂蚁集团、腾讯等中国高校和互联网企业均分别有数十篇论文被NeurIPS 2024收录。
蚂蚁集团被 NeurIPS 2024 收录了20篇论文，其中有一篇为Spotlight（特别关注）。按往年数据估算，NeurIPS 的 Spotlight 论文录取率约为 3%。
被 Spotlight 的论文《MKGL：掌握一门三元组构成的语言》，引入一个叫 KGL的新知识图谱语言，以探究大语言模型（LLM）和知识图谱（KG）的融合。KGL 这一新语言能够让一个句子精确地由一个实体名词开始、一个关系动词连接，再以另一个实体名词结尾。实验结果显示，LLM 通过利用实时知识图谱上下文检索和文本嵌入增强，高效提升其对 KGL 词汇的理解，已经做到能够熟练掌握 KGL，在知识图谱补全等任务上相较于传统方法有显著提升。
根据论文摘要显示，蚂蚁集团20 篇论文的研究领域主要集中在提升 AI的经济性、可信性和效率上，这也是该企业重投 AI 的重点攻坚方向。
比如论文《重新审视显存和通信成本对大语言模型高效数据并行训练的影响》针对大语言模型（LLM）分布式训练的速度与效率问题，提出了一组新的基础策略，一个名为 PaRO 的部分冗余优化器，通过更精细的分片策略以适配不同的训练场景，加速 LLM 的训练。实验结果表明，PaRO 在 LLM 的一些训练场景下速度比 ZeRO-3 最快提高到 266 %。此外，PaRO-CC 也可以单独使用在模型并行策略中，且获得了17%的训练速度提升。
在 NeurIPS 2024 上，蚂蚁集团还受邀举办一场研讨会，围绕“强化学习优化、可信模型构建及视觉语言模型应用探索”等议题，深入研讨知识增强的大语言模型在行业垂直领域的前沿技术与发展趋势。来自清华大学、香港浸会大学、墨尔本大学、蚂蚁技术研究院的学者和研究员将在研讨会上进行主题报告分享。
据了解，加速 AI 在行业垂直领域的落地应用，亦是蚂蚁集团重投 AI 的重点攻坚方向，或者说，聚焦提升AI的经济性、可信性和效率，就是为了加速AI在行业垂直领域，尤其在金融、医疗、遥感等严谨产业中的落地应用。
2024•Inclusion外滩大会发布的《AI产业实践六大趋势》指出，大模型在医疗、金融等专业领域应用涌现，能促进垂直行业生产力提升、数据价值释放，同时也成为大模型技术加速发展的“探照灯”。
值得注意的是，在 NeurIPS 这一级别的国际顶级学术会议上，来自国内高校、科技企业、互联网公司的论文不但在数量上持续突破，在质量上也有飞跃式进展，被收录为Spotlight、Oral、Highlight、Best Paper提名的论文越来越多。期待中国的产学界继续发力与合力，勇登这波 AI 浪潮之巅。
