2023年5月29日 – NVIDIA宣布推出全新定制AI模型代工服务NVIDIA ACE游戏 开发版 (NVIDIA Avatar Cloud Engine (ACE) for Games),利用AI驱动的自然语言交互技术,为游戏NPC带来智能,从而改变游戏体验。
中间件、工具及游戏开发者可以使用“ACE 游戏开发版 (ACE for Games)”在他们的游戏和应用中 建立和部署定制的语音、对话及动画AI模型。
NVIDIA 开发者与性能技术部门副总裁 John Spitzer 表示:“生成式AI将彻底改变玩家与游戏人物 之间的互动方式,并极大地提高游戏沉浸感。 基于我们在AI领域的专业知识,加上几十年来与游 戏开发者合作的经验,NVIDIA正率先在游戏中使用生成式AI。”
率先在游戏中使用生成式AI
在NVIDIA OmniverseTM 的基础上,“ACE 游戏开发版 (ACE for Games)”为语音、对话和角色动画 提供优化的AI基础模型,包括:
NVIDIA NeMoTM 大型语言模型(LLM) :使用专有数据构建、自定义和部署语言模型。 根据游戏故事的世界观及人物背景来定制调整 LLM,并且通过NeMo Guardrails 来保护对话 不会出现产生相反效果或不安全的内容。
NVIDIA Riva :用于自动语音识别(ASR)及文本转语音,以启用实时语音对话。
NVIDIA Omniverse Audio2Face : 用于配合语音音轨,实时为游戏角色创建脸部表情动 画。 Audio2Face 搭配用于虚幻引擎 5 的 Omniverse Connector,开发者可以直接将脸部 动画添加到 MetaHuman 的角色上。
开发者可以整合整套 “NVIDIA ACE 游戏开发版 (NVIDIA ACE for Games)”解决方案,或是单独使 用自己需要的组件。 “Kairos”让人一窥未来游戏发展的样貌
NVIDIA 和参与NVIDIA Inception 计划的初创公司Convai 合作,展示游戏开发者如何在不久之后 使用 “NVIDIA ACE 游戏开发版 (NVIDIA ACE for Games)” 来构建 NPC。 Convai将 ACE 模块与 他们的端到端实时虚拟人平台相集成,旨在为虚拟游戏开发尖端的对话式AI。 在名为Kairos 的演示中,玩家与拉面店老板 Jin 进行互动。 Jin 虽然只是一个 NPC,却能在生成 式AI的帮助下配合叙事背景,逼真回答自然语言的问题。 欢迎观看这个由 Unreal Engine 5 使用 最新光线追踪功能和NVIDIA DLSS 渲染出的演示内容。 Convai 创始人兼首席执行官 Purnendu Mukherjee 表示:“Convai 通过使用 ‘NVIDIA ACE 游戏 开发版 (NVIDIA ACE for Games)’,让我们的工具可以达到所需的延迟和绝佳要求,这样每个开发 者便能以低成本的方式使用AI打造NPC。 ” 在本地或云部署 NVIDIA ACE 游戏模型
支持 “NVIDIA ACE 游戏开发版 (NVIDIA ACE for Games)” 的神经网络针对多项功能进行优化,在 规模、性能和质量方面进行各种取舍。 “ACE 游戏开发版 (ACE for Games)”代工服务将协助开发 者微调游戏模型,然后通过 NVIDIA DGXTM Cloud,GeForce RTXTM PC 或现场加以部署,以实时 进行推理。
游戏中沉浸式互动性的交互对延迟有着极为严苛的要求,因此这些模型的延迟性能均调整到最佳 状态。
生成式AI将改变游戏体验 游戏开发者与初创公司已在其工作流上使用NVIDIA生成式AI技术。 欧洲知名游戏开发者之一的 GSC Game World,将在即将推出的《潜行者2:切尔诺贝利之 心》(S.T.A.L.K.E.R. 2: Heart of Chornobyl)中采用Audio2Face。
独立游戏开发者 Fallen Leaf 用 Audio2Face 来制作《索利斯堡》(FORT SOLIS)中角色的脸 部动画,《索利斯堡》(FORT SOLIS)是一款以火星为背景的第三人称科幻惊悚动作游戏。
使用AI来制作虚拟角色的 Charisma.ai,通过Audio2Face来制作对话引擎中的动画。