LOD模型生成中网格处理方法、系统以及3D重建方法和系统技术方案

本发明专利技术公开了一种LOD模型生成中网格处理方法、系统以及3D重建方法和系统。其中，在LOD模型生成过程中处理网格的方法包括：获得初始网格；剪切所述初始网格以得到多个LOD分区；通过网格合并将当前层级的LOD分区缝合以得到合并的网格；对合并的网格应用网格简化以得到下一层级的LOD分区；对下一层级的LOD分区迭代执行所述网格合并直至得到最终的合并的网格。对于由快速增长的3D重建技术来带的日益增长的需求而言是鲁棒的且可扩展的。其优化了三个主要的网格操作，在大型数据集上的实验表明其具有鲁棒性和可扩展性。

Grid processing method, system and 3D reconstruction method and system in LOD model generation

The invention discloses a grid processing method, a system and a 3D reconstruction method and a system of LOD model generation. Among them, including the method of processing grid in LOD model generation process: the initial shear grid; the initial grid to obtain a plurality of LOD through the grid partition; merge LOD partition level to get the current suture with grid; the grid application with simplified grid to get the next level of LOD on the LOD partition; the next level of the implementation of the iterative partition until the final mesh merge merge grid. For the growing demand from the rapidly growing 3D reconstruction technique to be robust and scalable. The optimization of the three main grid operations on large data sets shows that the proposed algorithm is robust and scalable.

【技术实现步骤摘要】

本专利技术实施方式涉及LOD(Level-of-detail，细节层次)模型生成中网格处理方法、系统以及3D(三维)重建方法和系统。
技术介绍
过去十年，通过改进的计算硬件和无人机摄影的普及化使得大型3D重建成为可能。这些重建的3D模型具有从建筑建模、城市规划、测量、遗迹保护的典型使用到例如机器人技术中的障碍回避和3D打印等的较新领域的应用的广泛应用。商业上的无人机摄影尤其在近几年快速发展。毫无疑问，未来将会需要甚至更大型的且更高质量的3D重建模型。处理这种大型数据的可能的方式是分治法(divide-and-conquer)。相同的技术已应用于多视角立体重建(multiviewstereo，MVS)步骤，其是产生捕获的对象或场景的高密度点云的必需步骤并且是大型LOD模型生成的前期步骤。此后，从点云的每个簇中提取网格面。这意味着所产生的网格面通常是片段的且不连续的。而且，通常这些初始网格面的尺寸太大以至于无法通过互联网传输，而限制了其使用性。理想的解决办法是根据这些初始网格面生成多分辨率模型或细节层次(LOD)网格，以满足模型的不同层次的精确度需求。例如，传输应用要求最详细的模型，而简化的模型最适合于在线传输和快速预览场景。仅通过产生LOD形式的网格可使得大型3D重建模型不断发展并且更加实用。然而，已开发的大多数网格操作技术着眼于处理单个对象，几乎不应用于处理这种大型数据。在用于这种大型数据时，这些技术中的一些开始暴露出了一些问题，而这些问题过去几乎没有引起关注。而且，将片段的且高密度的初始网格转换成连续的LOD形式网格需要混合数个种网格操作，这又增加了一层难度。
技术实现思路
在计算机图形学中，细节层次(LOD)是对模型保真度和渲染速度之间取舍(tradeoff)的研究。基本思想是使用简化的模型表示不重要或进一步远离视点的对象以降低渲染负荷。多年以来许多研究者已提出不同的方法生成LOD模型并将其投入应用。著作“3D图形的细节层次(LevelofDetailFor3DGraphics)”是LOD方面的非常好的概观并且其中介绍的经典技术至今仍然相关。在所有LOD架构之外，本专利技术是在离散LOD上做出的。离散LOD是指不同细节层次的相同模型是离散的并且每个层次首先离线产生并且基于观察者和模型之间的距离在运行时选择合适的渲染水平。优势在于模型的每个层次是静止的并且由此可对图形硬件产生影响以增加其渲染速度。相对于其他架构，例如连续LOD或视相关LOD，离散LOD更加容易编程，因为其将网格简化与渲染解耦。这种解耦还使得离线网格简化并行化并且由此更加可扩展。图5示出了单个对象离散LOD的典型例子。与之前所述的简单的、单个对象LOD示例不同，本专利技术面临的课题是规模大得多并且不断增长，在LOD流程中还必须使用分治技术。由此，本专利技术提供了一种LOD模型生成中网格处理方法、系统以及3D重建方法和系统。一方面，依照本专利技术实施方式的一种在LOD模型生成过程中处理网格的方法可以包括：获得初始网格；剪切所述初始网格以得到多个LOD分区；通过网格合并将当前层级的LOD分区缝合以得到合并的网格；对所述合并的网格应用网格简化以得到下一层级的LOD分区；对所述下一层级的LOD分区迭代执行所述网格合并直至得到最终的合并的网格。在本专利技术的另一实施方式中，所述方法还包括对合并的网格存在的孔进行孔填充以使相邻网格表面相适应。可选地，所述孔填充可包括第一填充处理：构建带有已知的孔的拓扑结构的网格补丁；将目标网格上的孔的边界顶点映射至该网格补丁的边界顶点；使用该边界顶点的位置作为约束条件对内部顶点进行平滑。此外，所述孔填充还可包括第二填充处理：对网格补丁进行初始三角化；通过增加内部顶点对三角化进行细化；将增加的内部顶点放置在使补丁表面与相邻表面相适应的位置。其中，对网格补丁进行初始三角化可以包括：定义三角形的两个误差函数：W面积和W二面角-角度，其中，W面积是指三角形的面积，W二面角-角度是指与相邻三角形的最大二面角角度；定义网格补丁误差函数W为W面积的总计的最小误差或W二面角-角度的最大值的最小误差；通过使W最小化来完成初始三角化。此外，或作为选择，所述第二填充处理还包括：平滑新填充的孔的表面，最小化边界顶点和增加的内部顶点之间的正常差异。在本专利技术的可选实施方式中，所述第一填充处理用于大于或等于预定阈值的孔，所述第二填充处理用于小于所述预定阈值的孔。可选地，所述剪切可以包括：定义切断平面；在所述初始网格中查找所有与该切断平面交叉的三角形；将所述交叉的三角形沿着剪切线分离成小三角形；通过使用所述小三角形的几何中心作为测试点将所有的小三角形标记在所述切断平面的任一侧，并且除去该侧中不需要的三角形。可选地，所述网格合并可以包括：沿着待合并网格的合并侧切掉预定偏移量以建立待合并网格之间的合并空隙；沿着待合并网格的合并侧通过匹配两个合并网格之间的最近距离边界顶点建立待合并网格之间的桥；对所述待合并网之间孔进行孔填充以完成合并。此外，或可选地，所述网格合并还包括：沿着边界遍历所述桥，并且记录桥的顺序，检查不连续的顺序，通过桥的顺序查找交叉的桥，并丢弃所述交叉的桥。可选地，本专利技术各种不同实施方式基于QSlim算法采用下述二次曲面方程进行所述网格简化：其中，Qv表示为二次曲面，v表示顶点，p表示顶点的支持平面，planes(v)表示v的支持平面集合，Kp表示网格中顶点至支持平面的平方距离矩阵，α∈[0,1]确定了所检测的平面区域的重要程度，β∈[0,1]确定了平面区域的简化优先级，Kplanarregionplane(v)表示网格中顶点至所属的特征平面的平方距离矩阵。另一方面，依照本专利技术实施方式的一种3D重建方法可以包括：通过多视角立体重建MVS获得对象的点云；从所述点云获取网格表面；基于所述获取的网格表面，采用上述各种不同实施方式所述的网格处理方法生成LOD网格；采用生成的LOD网格完成所述对象的3D重建。再一方面，依照本专利技术实施方式的一种在LOD模型生成过程中处理网格的系统可以包括：获得模块，用于获得初始网格；剪切模块，用于剪切所述初始网格以得到多个LOD分区；合并模块，用于通过网格合并将当前层级的LOD分区缝合以得到合并的网格；简化模块，用于对所述合并的网格应用网格简化以得到下一层级的LOD分区；其中，对所述下一层级的LOD分区迭代执行所述网格合并直至得到最终的合并的网格。优选地，所述系统还包括对合并的网格存在的孔进行孔填充以使相邻网格表面相适应的填充模块。可选地，所述填充模块可用于执行第一填充处理：构建带有已知的孔的拓扑结构的网格补丁；将目标网格上的孔的边界顶点映射至该网格补丁的边界顶点；使用该边界顶点的位置作为约束条件对内部顶点进行平滑。此外，所述填充模块还可用于第二填充处理：对网格补丁进行初始三角化；通过增加内部顶点对三角化进行细化；将增加的内部顶点放置在使补丁表面与相邻表面相适应的位置。其中，对网格补丁进行初始三角化可包括：定义三角形的两个误差函数：W面积和W二面角-角度，其中，W面积是指三角形的面积，W二面角-角度是指与相邻三角形的最大二面角角度；定义网格补丁误差函数W为W面积的总计的最小误差或W二面角-角度的最大值的最小误差；通过使W最小化本文档来自技高网...

【技术保护点】
一种在LOD模型生成过程中处理网格的方法，其特征在于，所述方法包括：获得初始网格；剪切所述初始网格以得到多个LOD分区；通过网格合并将当前层级的LOD分区缝合以得到合并的网格；对所述合并的网格应用网格简化以得到下一层级的LOD分区；对所述下一层级的LOD分区迭代执行所述网格合并直至得到最终的合并的网格。

【技术特征摘要】
1.一种在LOD模型生成过程中处理网格的方法，其特征在于，所述方法包括：获得初始网格；剪切所述初始网格以得到多个LOD分区；通过网格合并将当前层级的LOD分区缝合以得到合并的网格；对所述合并的网格应用网格简化以得到下一层级的LOD分区；对所述下一层级的LOD分区迭代执行所述网格合并直至得到最终的合并的网格。2.如权利要求1所述的方法，其特征在于，还包括对合并的网格存在的孔进行孔填充以使相邻网格表面相适应。3.如权利要求2所述的方法，其特征在于，所述孔填充包括第一填充处理：构建带有已知的孔的拓扑结构的网格补丁；将目标网格上的孔的边界顶点映射至该网格补丁的边界顶点；使用该边界顶点的位置作为约束条件对内部顶点进行平滑。4.如权利要求3所述的方法，其特征在于，所述孔填充还包括第二填充处理：对网格补丁进行初始三角化；通过增加内部顶点对三角化进行细化；将增加的内部顶点放置在使补丁表面与相邻表面相适应的位置。5.如权利要求4所述的方法，其特征在于，对网格补丁进行初始三角化包括：定义三角形的两个误差函数：W面积和W二面角-角度，其中，W面积是指三角形的面积，W二面角-角度是指与相邻三角形的最大二面角角度；定义网格补丁误差函数W为W面积的总计的最小误差或W二面角-角度的最大值的最小误差；通过使W最小化来完成初始三角化。6.如权利要求4所述的方法，其特征在于，所述第二填充处理还包括：平滑新填充的孔的表面，最小化边界顶点和增加的内部顶点之间的正常差异。7.如权利要求4所述的方法，其特征在于，所述第一填充处理用于大于或等于预定阈值的孔，所述第二填充处理用于小于所述预定阈值的孔。8.如权利要求1所述的方法，其特征在于，所述剪切包括：定义切断平面；在所述初始网格中查找所有与该切断平面交叉的三角形；将所述交叉的三角形沿着剪切线分离成小三角形；通过使用所述小三角形的几何中心作为测试点将所有的小三角形标记在所述切断平面的任一侧，并且除去该侧中不需要的三角形。9.如权利要求1所述的方法，其特征在于，所述网格合并包括：沿着待合并网格的合并侧切掉预定偏移量以建立待合并网格之间的合并空隙；沿着待合并网格的合并侧通过匹配两个合并网格之间的最近距离边界顶点建立待合并网格之间的桥；对所述待合并网之间孔进行孔填充以完成合并。10.如权利要求9所述的方法，其特征在于，所述网格合并还包括：沿着边界遍历所述桥，并且记录桥的顺序，检查不连续的顺序，通过桥的顺序查找交叉的桥，并丢弃所述交叉的桥。11.如权利要求1所述的方法，其特征在于，基于QSlim算法采用下述二次曲面方程进行所述网格简化：其中，Qv表示为二次曲面，v表示顶点，p表示顶点的支持平面，planes(v)表示v的支持平面集合，Kp表示网格中顶点至支持平面的平方距离矩阵，α∈[0,1]确定了所检测的平面区域的重要程度，β∈[0,1]确定了平面区域的简化优先级，Kplanarregionplane(v)表示网格中顶点至所属的特征平面的平方距离矩阵。12.一种3D重建方法，其特征在于，包括：通过多视角立体重建MVS获得对象的点云；从所述点云获取网格表面；基于所述获取的网格表面，采用权利要求1至11任意一项所述的方法生成LOD网格；采用生成的LOD网格完成所述对象的3D重建。13.一种在LOD模型生成过程中处理网格的系统，其特征在于，所述系统包括：获得模块，用...

【专利技术属性】
技术研发人员：萧星宇，方天，权龙，
申请(专利权)人：广州市香港科大霍英东研究院，
类型：发明
国别省市：广东;44