重建物体表面的方法、装置及计算机存储介质制造方法及图纸

本发明专利技术公开了一种重建物体表面的方法、装置及计算机存储介质，该方法包括：利用多张图像生成对应的密集点云，该多张图像通过从不同拍摄位置点对场景进行拍摄获得；基于密集点云，生成与密集点云对应的四面体网格，其中，四面体网格中的每个四面体的顶点为密集点云中的坐标点；基于能量函数最小化，为每一个四面体生成二元标签，其中二元标签用于表征四面体位于物体表面的内部或外部；提取具有不同二元标签的四面体之间的公共面以重建物体表面。能量函数包括与四面体对应的第一惩罚项之和以及与公共面对应的第二惩罚项之和，第二惩罚项包括网格密度权重。通过上述方式，本申请降低噪声点对重建后的物体表面细节的负面影响，以提高重建精度。提高重建精度。提高重建精度。

【技术实现步骤摘要】
重建物体表面的方法、装置及计算机存储介质


[0001]本专利技术涉及图像处理领域，特别是涉及一种重建物体表面的方法、装置及计算机存储介质。

技术介绍

[0002]三维重建技术用于从一个场景的多张图像重建整个场景或场景中的物体的三维表面。随着技术的发展，三维重建技术的应用也越来越广泛。诸如虚拟现实、增强现实、数字孪生等都对三维重建的精度和细节还原能力提出了更高的要求。
[0003]如何在三维重建中降低噪声影响且保留更多细节是一个亟待解决的问题。

技术实现思路

[0004]本专利技术提供一种重建物体表面的方法、装置以及计算机存储介质，以解决现有技术中降低噪声影响且保留更多细节的问题。
[0005]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种重建物体表面的方法，该方法包括：利用多张图像生成对应的密集点云，该多张图像通过从不同拍摄位置点对场景进行拍摄获得；基于密集点云，生成与密集点云对应的四面体网格，其中，四面体网格中的每个四面体的顶点为密集点云中的坐标点；基于能量函数最小化，为每一个四面体生成二元标签，其中二元标签用于表征四面体位于物体表面的内部或外部；提取具有不同二元标签的四面体之间的公共面以重建物体表面。其中，能量函数包括与四面体对应的第一惩罚项之和以及与公共面对应的第二惩罚项之和，第二惩罚项包括网格密度权重。
[0006]为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种用于从场景的多张图像重建物体表面的装置。该装置包括：密集点云生成模块，配置成利用多张图像生成对应的密集点云，该多张图像通过从不同拍摄位置点对场景进行拍摄获得；网格生成模块，配置成基于密集点云，生成与密集点云对应的四面体网格，其中，四面体网格中的每个四面体的顶点为密集点云中的坐标点；四面体标记模块，配置成基于能量函数最小化，为每一个四面体生成二元标签，其中二元标签用于表征四面体位于物体表面的内部或外部；表面提取模块，配置成提取具有不同二元标签的四面体之间的公共面以重建物体表面。其中，能量函数包括与四面体对应的第一惩罚项之和以及与公共面对应的第二惩罚项之和，第二惩罚项包括网格密度权重。
[0007]为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种用于从场景的多张图像重建物体表面的装置。该装置包括处理器和存储器。存储器中存储有计算机程序。处理器用于执行计算机程序以实现上述方法的步骤。
[0008]为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种计算机存储介质。该计算机存储介质存储有计算机程序。该计算机程序被处理器执行时实现上述方法的步骤。
[0009]区别于现有技术，通过将能量函数构建成包括与四面体对应的第一惩罚项之和以
及与公共面对应的第二惩罚项之和，且第二惩罚项包括网格密度权重，本申请可以降低噪声点或异常点对于重建后的物体表面细节的负面影响，从而提高重建精度。
附图说明
[0010]为更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是本专利技术重建物体表面的方法的第一实施例的流程示意图；
[0012]图2是本专利技术生成密集点云的方法的一个实施例的流程示意图；
[0013]图3是本专利技术生成密集点云的方法的又一实施例的流程示意图；
[0014]图4是所生成的密集点云的一个实施例的示意图；
[0015]图5是与图4中的密集点云对应的四面体网格的一个实施例的示意图；
[0016]图6示出视线穿过公共面的示意图；
[0017]图7示出相邻四面体之间的夹角示意图；
[0018]图8示出利用图割方法求解能量函数的方法一实施例的示意图；
[0019]图9示出与图4中的四面体网格对应的有向图的示意图；
[0020]图10是本专利技术重建物体表面的装置一实施例的结构示意图；
[0021]图11是本专利技术重建物体表面的装置另一实施例的结构示意图；
[0022]图12是本专利技术计算机存储介质一实施例的结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]具体请参阅图1，图1是本专利技术重建物体表面的方法第一实施例的流程示意图。本实施例重建物体表面的方法包括以下步骤。
[0025]S11，利用从不同拍摄位置点对场景进行拍摄所获得的多张图像I
i
(其中，i＝1，
…
N，N为多张图像的数量)生成对应的密集点云P。该密集点云P也称稠密点云P。
[0026]上述场景诸如为大学校园、景区、山岭、商业区、居民区等具有各种地形变化、建筑物和物体的大区域场景。所述场景也可以为诸如室内的小面积场景。在一些实施例中，所述场景也可以诸如为一个雕像、一个工业制品(例如，单架飞机)等的单个物体。本申请对此不作限制。上述场景应当为静止或者大致静止的。
[0027]本领域技术人员应当理解，可以从陆地、空中、水中等对同一场景进行拍摄。可以从不同拍摄位置对同一场景进行拍摄以获得对应的多张图像I
i
。例如，可以利用无人机拍摄平台或陆基摄像机对同一场景拍摄多张图像I
i
。本申请并不具体限制具体的拍摄平台和/或设备。
[0028]所拍摄的多张图像I
i
可以是深度图像，也可以是RGB图像。所拍摄的多张图像I
i
各
自包括该场景的至少一部分。多张图像I
i
中的至少两张包含重叠部分。例如，在某住宅区的多张图像I
i
中，图像I
m
和I
n
都包括同一信号塔，则该信号塔的区域可以为图像I
m
和I
n
的重叠部分。多张图像I
i
之间的重叠部分越多，本申请的表面重建过程将越容易。
[0029]优选地，在拍摄多张图像I
i
时，对应存储每张图像的相机姿态。具体地，相机姿态包括相机拍摄位置c
i
和相机拍摄角度。
[0030]相机拍摄位置c
i
也称为拍摄位置点c
i
或相机位置点信息c
i
。拍摄位置点c
i
可具体为拍摄对应图像I
i
时，相机相对于图像中的景物或者特征的相对信息，或者相机在三维空间(例如，与场景的物理现实空间相对应的三维空间)中的空间坐标。
[0031]在一些实施例中，上述相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从场景的多张图像重建物体表面的方法，其特征在于，所述方法包括：利用所述多张图像生成对应的密集点云，其中，所述多张图像通过从不同拍摄位置点对所述场景进行拍摄获得；基于所述密集点云，生成与所述密集点云对应的四面体网格；基于能量函数最小化，为每一个所述四面体生成二元标签，其中，所述二元标签用于表征所述四面体位于物体表面的内部或外部；提取具有不同二元标签的四面体之间的公共面以重建所述物体表面，其中，所述能量函数包括与所述四面体对应的第一惩罚项之和以及与所述公共面对应的第二惩罚项之和，所述第二惩罚项包括网格密度权重。2.根据权利要求1所述的方法，其特征在于，所述基于能量函数最小化，为所述四面体中的每一个生成二元标签包括：在从所述密集点云中的每个坐标点到所述拍摄位置点的视线与所述公共面的相交时，为所述公共面设置所述第二惩罚项，其中，所述第二惩罚项为所述网格密度权重与预设惩罚系数的乘积。3.根据权利要求2所述的方法，其特征在于，所述公共面的三个顶点中的每一个顶点所能看到的拍摄位置点的数量之和越多，所述网格密度权重越小，并且/或者所述公共面的边长之和越大，所述网格密度权重越大。4.根据权利要求3所述的方法，其特征在于，所述利用所述多张图像生成对应的密集点云包括：基于所述多张图像进行特征点匹配，得到多个共视点；基于所述共视点得到所述密集点云中的坐标点。5.根据权利要求4所述的方法，其特征在于，所述基于所述密集点云，生成与所述密集点云对应的四面体网格之前，还包括：查询所述密集点云的坐标点的来源图像；根据所述来源图像确定出所述来源图像对应的来源拍摄位置点；将所述来源拍摄位置点添加至所述密集点云中，得到更新的密集点云；所述基于所述密集点云，生成与所述密集点云对应的四面体网格，包括：基于更新的密集点云，生成与所述密集点云对应的四面体网格。6.根据权利要求5所述的方法，其特征在于，所述基于所述密集点云，生成与所述密集点云对应的四面体网格的步骤包括：基于所述拍摄位置点和所述坐标点生成所述四面体网格；其中，对于从所述密集点云中的每个坐标点到所述拍摄位置点的视线，基于所述四面体是包括所述视线的拍摄位置点的四面体还是包括所述视线的坐标点的四面体对所述四面体进行设置。7.根据权利要求2所述的方法，其特征在于，所述第二惩罚项还包括距离权重，所述视线与所述公共面的交点距离所述视线的起点的距离越远，所述距离权重越大。8.根据权利要求7所述的方法，其特征在于，<...

【专利技术属性】
技术研发人员：张壮，周立阳，姜翰青，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：