欧特克中国研究院的三项前瞻性研究技术

我们都知道研发团队对于一个企业的重要意义,它像是一个军队的指挥系统,又像是一个国家的生力军。对于企业来说,研发团队使其能够在残酷的竞争环境下变得更加有竞争力,对于用户来说,研发团队能够获得更加优秀的产品和服务。而不重视研发团队建设的企业,无疑也将失去竞争力,失去用户。

欧特克公司就是非常重视研发团队建设的公司之一,他们从2003年开始,就在中国上海建设了自己的研发团队。2008年1月8日,欧特克成立欧特克中国研究院(简称ACRD)。目前,这个研发团队有1300多个研发人员,是欧特克全球最大的研发中心,同时也是欧特克在全球研发团队最完整的一个地方。在这里,欧特克的每一个产品基本上都已经覆盖到,包括最核心的产品AutoCAD、还有面向行业的Revit、Inventor、3ds Max产品。

而在企业研发体系内部,同样存在着产品开发人员与研究性人员两种不同的群体。一直以来,在很多有实力的大型企业中,都少不了研究性人员的身影。区别于专注于产品,如版本升级,版本调试的产品开发人员,研究人员将目光转向了更具前瞻性意义的技术,力求在不同领域之间搭建一个核心技术的公共平台,研究成果供其他部门所共享。他们把目标定在两三年或者是更长时间的新技术,随着用户需求的增长又或者是技术成熟度高了以后,才会将新技术放到产品里去,欧特克也不例外。

ACRD中正是有这样一群专注于前瞻性技术的研究人员,他们关注、探讨、研究行业领先的技术,并取得了不错的成绩。在众多的研究成果中,本文将撷取其中主要的三大技术与大家分享:第一个就是点云(Point Cloud),第二是视频建模(Video Modeling),第三是增强现实(Augmented Reality)。

让我们首先来了解一下什么是点云?点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。点云的属性包括:空间分辨率,点位精度,表面法向量等。在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”。

点云首先是机械行业用得比较多,如一个机器的零件,需要仿真生成零件模型,可能需要用三维扫描,把模型建立出来。目前,针对建筑行业,还没有很好的软件出来。针对工厂的有这样的软件,但是做的不是很好。所以欧特克就将自己研发的重心放在工厂和建筑方面点云的应用开发。

为何点云在不同的行业应用,难度差异就会这么大呢?ACRD的工程师解释说,机械产品一般不会太大,表面也不大复杂,所以扫描的点云之间关系也就相对简单;但是工厂和建筑,都是很大的东西,从局部去看的话,几何形状并不复杂,但是从整体来看,会很复杂,例如,一个门或者一个窗户都需要单独识别出来。

点云虽然不是欧特克最早发明的技术应用,但是其应用却在ACRD这里发扬光大。欧特克的研发人员在点云技术的基础上发明了三种应用包括:平面提取、管道提取、网格重建等,这些应用目前正在申请专利。而在将自己的研究成果,应用到具体产品中的时候,他们把上面提到的这些技术集合成一个工具包里面,打包之后可以提供给任何产品作为插件使用。

基于点云技术上的应用开发

第一,平面提取(Plane Extraction)。平面提取就是将物体不同的面,通过三维扫描将点云采集起来,然而将这些描述的点云显示在电脑上成为三维模型。很多人会认为,平面提取也许看着比较容易一点,但是平面的难点在于,有些是很小的平面,有些平面点很难完整,需要把边界找出来,这是很难的事情。平面提取最难的地方是如何解决两个平面交界处?从技术角度来说,这里需要用到很多算法,欧特克研发部门先是找平面的边界,如果两个平面的边界距离比较近,则认为它们是相交的。目前的研究成果,已经可以自动找平面和平面的交界,把交界和边界进行匹配。

同时,对于不同的行业,平面提取的难度也不同。例如,机械设备较为简单一些,但是这对于建筑来说非常复杂,建筑物的一个门和一个窗都需要分别提取。

第二,管道提取(pipe extraction)。管道提取能够帮助用户快速找到中心线和管道半径。而以前用户要找到管道的中心线和管道半径,需要手动交付,一段一段地找到管道上的中心线,然后通过计算得到半径,这个过程的工作量非常大。而使用了管道提取功能后,就可以快速、准确地把这段管子的中心线和半径提取出来。以前用户只是把管道上所有点扫描进去,表面上的点找到之后需要用户自己把中心点放出来,这都是手动的去做,现在都是自动的,也更精确。同时还可以把它相邻管道的数据提取出来,如果初次提取的数据有误差,相邻管道数据的提取可能会降低误差,因为相邻的管道半径都是一样大的,所以可以把整个管线上的半径都一致起来,这样比较规范,而且提取更精确。另外,每个国家都在管道存在很多规范,每个规范里面都有管径数据,因此,可以利用各个国家对管道的规范,将数据自动匹配到规范里去。   

管道提取最难的是找到管道的半径,找到管道的边界,管道的边界又是另外一种情况,管道不会单独存在,比如弯头,到底哪些地方是管道和弯头的交界点。

管道提取最多的是用在工程建筑行业,以前没有用数字化模型的时候,很多历史建筑都没有计算机数据,那么,这些建筑在进行翻新/改造的时候,如果通过扫描就可以把以前的模型提取出来,新的管道跟以前管道对接,或者以前的管道有部分需要重新修理,就可以通过点云的形式把管道数据搜集起来,把它变成一种数据的模式,也算其中一种典型的应用。

据了解,管道提取在研究过程中也并不是一帆风顺的,ACRD的工程师们也遇到过一些难以逾越的困难。一,从技术角度上来说,所有扫描来的点都是离散的,一个点和另一个点的关系没有建立起来,首先需要建立起它们之间的关系,这是很难的事情。二、有些管道可能出现与前面的管道断开,扫描的时候不太容易扫到断裂处;还有一些“噪音”的影响,例如扫描仪本身不是很精确带来了噪音,也使得扫描变得很困难。这些技术难题研发人员正在逐渐地克服他们。

由于,受到各种客观因素的影响,现在还没有去对比管道提取的准确度到底是多少,因为准确度是不太好衡量的一件事情,用户其实是可以去修改的,如果觉得准确度不够,信息丢掉了,可以去改,这跟很多东西相关,包括扫描仪的质量、工作人员扫描技术的掌握程度、以及扫描仪所提供三维软件处理的技术等等,是很多因素导致的,所以很难去定义。

第三,网格重建(mesh Construction)

我们常常会遇到这种情况,扫描来的这些点并不是那么直观,也不是那么均匀,有可能会出现裂缝。这里面跟传统的网格相比也有一些特点,就是想办法生成这些网格,用点云的信息把三维模型建立出来。

很多产品都有“网格重建”的功能,但是很多做出来会出现缝隙,还有些网格显示出奇形怪状,为什么会出现这样的情况呢?因为,三维扫描扫出来的点并不是均匀分布的,相邻的这些点又不能被丢掉,扫描的时候可能会有东西遮挡,下面这些东西丢掉了就没有这些点。

以上提到的如平面提取、管道提取以及网格重建,这三种技术应用分别重点应用在不同行业里。如在工厂设计和建筑行业,管道提取里面会用到更多,但是也会用到平面提取;而在手、雕像等三维模型的建立上,网格重建应用的会比较多。   

视频建模

提到照片的建模,很多人都会想到对一个物体或者一个房子拍很多照片,照片上的信息就可以重构物体的三维模型了。那么,这个技术对照片有什么要求呢?就是在拍照的时候,一些信息不能丢掉,例如,房子有些转折的地方可能没有拍到,在重构模式的时候就会发现很困难。后来,欧特克研发人员发现只要围绕着目标拍一段视频,所有信息都不会漏掉,所有图片的特征都能够在录像中找到,那么,这时候去重构它模型就比较容易了。不过在技术原理上视频处理与照片处理基本是一样的。

当然,我们也可以发现照片和视频这两种方式,既有联系又有区别。照片是不可控的,如果前面拍一张,后面拍一张,方位上跳跃太大,很多信息就不一致了,所以通过照片重构物体是很难的一件事情。而且照片的信息如果不对称,就会非常离散。视频的图象是一帧一帧,帧和帧之间是联系的,上一帧的一些点和下一帧是对应的。视频做出来的效果会更逼真一点,因为它捕捉到的信息更多。

在视频拍摄的设备上,需要能够完成视频拍摄的设备,如摄像机,手机等都能够完成拍摄。随着清晰度不同,视频捕获象素多少,决定了所构建三维模型的完整度。项目负责人表示,这个研究目前还只有一个初步的进展。

增强现实

增强现实就是把虚拟和真实的东西贯彻起来,在真实的东西上叠加一部分虚拟的东西。例如,在现实世界里,我们只能看到房子的墙壁和天花板,但是如果将虚拟的东西加载进我们的计算机,我们再从视频里面看到的就不仅仅是墙壁和天花板了,还能够看到房子里各种已经隐藏起来的设备和管道。在一个房子建造完成后,管道都是藏在天花板里,根本无法直接看到,对于维修来说,如果管道出了问题,工作人员需要打开天花板才能看到管道具体位置。通过这个应用就可以实现不用打开天花板就能看到管道的位置和信息。

如上图所示,左边的三维模型是虚拟的计算机形成的,中间的Live Video是通过手机上的摄像头就可以看到真实的一个场景,当虚拟的三维模型和一个真实的场景结合的时候,到最右边的手机里面就是我们看到最后的结果,天花板上显示的不是天花板,而是天花板上的管道,管道的布局一目了然。

在现实视频中加入虚拟的设备,让所有隐藏起来的设备都现身,同时它还能帮助处理当前的事情,给出参考意见。例如,车辆在上班的路上出了故障,但是修理工无法及时赶到,对于一般人来说修理汽车还是有些难度的。但是,如果你的手机里面预存了汽车内部构造图,情况就不同了。当汽车引擎盖打开之后,你把手机镜头对准引擎,手机就可以看到里面的发动机和管道,更进一步,在手机视频上增加一些紧急故障处理的指导方案,把维修的便捷性传递给用户,第一步应该做什么,第二步应该做什么,通过视频的帮助,用户自己就可以完成汽车修理。这个应用确实很诱人,不过,目前这个应用,仍然还处于研究阶段。

点云技术的成功案例

目前,点云已经有了几个方面的应用。研发部门与都江堰政府合作进行都江堰遗产保护的项目,算是点云技术的典型应用。

在这个项目中,欧特克研发人员根据具体情况进行分析,根据三维扫描原理得到的点云,包括三维坐标(XYZ)。三维扫描的优势是可以得到很多信息,一是三维的点很多,三维空间的信息相对比较精确。但是最大劣势是数据量太大。二是扫描下来的点和点之间是没有逻辑关系,需要后期给它们建立起来关系,但是建立起来容易丢失墙角的点,也容易受到一些遮挡。三是会受到扫描技术的限制,很多扫描都是通过激光,如果这个玻璃很干净则没有点被扫描下来,这也是激光扫描目前碰到的主要问题。

而根据照片拍摄得到的丰富的颜色信息(RGB)。照片拍摄的优势是,它的细节信息是很丰富的,因为这种方式可以把细节、颜色的变化、拐角,像古建筑里精细的浮雕都可以拍下来,并且可以看得很清楚。而三维扫描出来的都是点,坐标却没有颜色,有时候颜色也是代表很重要的信息的。

可以看出来,两种方式他们各有自己的优缺点。而如果两种方式结合得到的点云,则能包括三维坐标(XYZ)、和颜色信息(RGB)。如此一来,CEG决定采用三维扫描、照片拍摄两种原理结合的方式测量点云,总体称为“现实捕获(Reality capture)”。通过点云技术不仅可以用来保护古建筑,还可以将点云技术推广到其他项目。可以预料,点云技术的应用将会越来越广泛。