对我来说,NVIDIA Omniverse就像是一个神奇的万花筒,五次缤纷,变幻莫测,让人徜徉其中,流连忘返。但是NVIDIA Omniverse不是什么小孩子的玩具,而是人类通往虚拟世界的工具。
对于NVIDIA Omniverse有很多东西需要了解,最简单的理解它是NVIDIA发布的一个计算机图形与仿真模拟平台,平台基于Pixar公司的Universal Scene Description(USD,通用场景描述)与NVIDIA RTX GPU技术。
NVIDIA Omniverse很神奇。爱立信用它来调整基站的位置,虚拟大流量的移动的车辆、物体对信号的影响,甚至可以借助Omniverse VR在虚拟世界中亲身见证。洛克希德·马丁公司用它预测整个加州山火蔓延的路径和规模,告诉消防人员什么时候可以采取什么策略。这些都是建立在模型的基础上,基于AI和人工智能深度神经网络,判断预警火灾发生的位置、蔓延的速度和方向,做到前期火山轨迹图。
在不久前的秋季GTC上,NVIDIA 发布了Omniverse几大全新特性,主要包含:Showroom、Farm、AR和VR,涉及展示、多节点渲染和模拟、AR等,如今Showroom、Farm、AR已经在Omniverse公测版里可以使用,VR会尽快发布。 在这次GTC上,NVIDIA还宣布了基于Omniverse Enterprise的人工智能开发框架叫NVIDIA Modulus,通过使用物理加速的机器学习和训练数据,去进行深度神经网络模型训练,可以输出一个真实世界场景的替代模型。
NVIDI Omniverse Replicator、Isaac Sim可以用于自主驾驶车辆、机器人的训练,Drive Sim可以用于无人驾驶车、自驾车、大型自主移动车辆。Omniverse Avatar为AI助手的创建,开辟了道路,可以应用在餐厅订单、银行交个人预约和预订等场景,为客户带来不同的视觉和服务体验。
NVIDIA创始人兼首席执行官黄仁勋表示:“智能虚拟助手的前景一片光明。Omniverse Avatar将我们的基础图像、模拟和AI技术结合在一起,打造出一些有史以来最复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信,影响深远。”
在NVIDIA GTC主题演讲中,黄仁勋分享了使用Omniverse Avatar的多个例子,包括用于客户支持的Project Tokkio、用于永久在线车载智能服务的NVIDIA DRIVE Concierge以及用于视频会议的Project Maxine。
Omniverse Avatar 所使用的语音AI、计算机视觉、自然语言理解、推荐引擎、面部动画和图像元素,通过以下技术实现:
● 其语音识别基于NVIDIA Riva。这个软件开发工具包可以识别多种语言的语音。Riva还可通过文本语音转换功能生成接近真人的语音反馈。
● 其自然语言理解基于Megatron 530B大型语言模型。该模型可以识别、理解和生成人类语言。Megatron 530B是一个预训练模型,它可以在很少或没有训练的情况下完成句子、回答主题广泛的问题、总结长而复杂的故事、翻译成其他语言,并应对许多它未接受过专门训练的情景。
● 其推荐引擎由NVIDIA Merlin™提供。该框架使企业可以建立能够处理大量数据的深度学习推荐系统,以提出更明智的建议。
● 其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis。
● 其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face驱动。
这些技术被集成在一个应用,并使用NVIDIA统一计算框架进行实时处理。