英伟达开发了一种新的深度学习引擎GANverse3D,能将标准2D图像,转换成3D物体模型,并作为虚拟协作模拟平台Nvidia Omniverse的扩展套件使用,将3D模型渲染成光影逼真的样子。
英伟达人工智能实验室所开发的GANverse3D应用程序,能将平面图像转成3D模型,并在虚拟环境进行视觉化与操作控制,官方提到,这项功能可以让建筑师、创作者、游戏开发者和设计师,在不需具备3D建模的专业知识下,简单地将物件加到3D场景中。像是用单张汽车照片,就可以创建出3D模型,该模型可以在虚拟场景中行驶,并配备仿真的前灯、尾灯和方向灯等装备。
在开发GANverse3D的过程中,由于缺少训练资料,研究人员便将生成对抗网络(GAN)转变为高效能数据产生器,用来生成同一物体,但是从不同方向观看的图片,这些图片就像是摄影师绕著车辆,从不同角度拍摄的一样。
这些多重视角的图片,被插入到反转图像(Inverse Graphics)用的渲染框架中,在经过这些图片训练后,GANverse3D只需要单张2D图像就可快速创建出3D模型,这些模型可以被用于3D神经渲染上,供开发人员控制自定义物件和变换背景。
Nvidia研究人员Jun Gao提到,因为这些训练数据都是真实的图像,不是依赖典型的数据合成方法,让AI模型可以更广泛地在真实世界中应用。