一种基于图像与点云数据融合的三维重建方法技术

本申请提供一种基于图像与点云数据融合的三维重建方法，涉及计算机视觉和计算机图形学领域。所述三维重建方法通过点云配准和融合，得到被测对象的全景点云；再根据对应的图像数据进行显著性特征提取和多尺度聚合特征提取，得到全景点云中每个点的显著性特征向量和多尺度聚合特征向量，利用神经辐射场进行基于点的体渲染，得到具有接近真实的色彩和纹理信息的三维模型。信息的三维模型。信息的三维模型。

【技术实现步骤摘要】
一种基于图像与点云数据融合的三维重建方法


[0001]本申请涉及计算机视觉和计算机图形学领域，特别涉及一种基于图像与点云数据融合的三维重建方法。

技术介绍

[0002]人工建立三维模型的成本很高，这项工作不仅需要很强的专业技能，并且是很耗时的。在虚拟现实中，需要海量的具有较高几何精度和复杂色彩、纹理的人物、物体和场景等的三维模型，所以三维重建技术在AR、VR、以及元宇宙中扮演了十分关键的角色。如何快速，高质量的重建或者生成三维模型是计算机视觉和计算机图形学的关键技术。
[0003]点云是一组数据点，它们是三维测量设备对被检测物体表面的测量。目前，随着点云数据的获取方式越来越便捷，进一步使得点云成为了一种非常重要的三维数据形式。利用深度学习技术进行多视角点云配准与融合，可以快速而准确的重建场景的几何模型。
[0004]目前基于点云数据的三维重建技术集中在三维几何结构的重构上，往往包含以下步骤：点云数据获取，点云预处理，点云配准与融合，三维表面生成。其中，点云配准与融合后，就得到了原始的三维模型，此时的三维模型由一批离散的点构成的，三维表面生成是让三维物体的表面都由一个个平面组成，即在表面处成为连续状态。以上的三维重建步骤实现了三维物体或者场景的几何重构，但是重建得到的三维模型缺乏纹理和色彩信息，导致重建结果不够真实。

技术实现思路

[0005]为了解决目前的三维重建方法得到的三维模型缺乏纹理和色彩信息，导致重建结果不够真实的问题，本申请通过以下方面提供一种基于图像与点云数据融合的三维重建方法、终端装置以及计算机可读存储介质。
[0006]本申请第一方面提供一种基于图像与点云数据融合的三维重建方法，包括：获取被测对象的点云序列以及图像序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的点云数据，且点云序列覆盖被测对象的全景区域；图像序列包括多个图像数据，图像数据分别与点云数据一一对应；对点云序列中的多个点云数据进行配准和融合处理，得到被测对象的全景点云；对图像序列中的多个图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量；根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到目标点相对于待观察点的观察特征向量，其中，目标点为全景点云中除待观察点之外的任意一个点；根据距离待观察点最近的k个点的相对于待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到待观察点的外观描述向量；将目标点相对于待观察点的观察特征向量，使用第二全连接网络进行计算，得到
目标点相对于待观察点的观察密度向量；根据距离待观察点最近的k个点的相对于待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到待观察点的体密度信息；根据观察采样点的位置信息、待观察点的位置信息进行位置编码计算，得到待观察点相对于观察采样点的高维位置向量；根据待观察点的高维位置向量和待观察点的外观描述向量，使用第三全连接网络进行计算，得到待观察点相对于观察采样点的辐射信息。
[0007]在一些实施例中，根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到目标点相对于待观察点的观察特征向量，包括：使用待观察点的位置信息减去目标点的位置信息，得到目标点相对于待观察点的相对位置信息；将目标点相对于待观察点的相对位置信息与目标点的多尺度聚合特征向量进行拼接，得到拼接后的多尺度聚合特征向量；使用第一全连接网络对拼接后的多尺度聚合特征向量进行计算，得到目标点相对于待观察点的观察特征向量。
[0008]在一些实施例中，按照如下公式进行聚合计算，得到所述待观察点的外观描述向量：其中，fx表示所述待观察点的外观描述向量，，i表示第i个目标点，Ai表示第i个目标点对应的显著性特征向量，，其中，为第i个目标点的位置信息，x为所述待观察点的位置信息，表示第i个所述目标点相对于所述待观察点的观察特征向量；按照如下公式进行聚合计算，得到所述待观察点的体密度信息：其中，表示所述待观察点的体密度信息，表示第i个所述目标点相对于所述待观察点的观察密度向量。
[0009]在一些实施例中，根据观察采样点的位置信息、待观察点的位置信息进行位置编码计算，得到待观察点相对于观察采样点的高维位置向量，包括：使用观察采样点的位置信息减去待观察点的位置信息，得到待观察点相对于观察采样点的相对位置信息；将待观察点相对于观察采样点的相对位置信息映射到32维空间中，得到待观察点相对于观察采样点的高维位置向量。
[0010]在一些实施例中，对图像数据进行显著性提取，包括：使用多尺度特征提取卷积网络对图像数据进行多尺度特征提取，得到第一层次特
征图、第二层次特征图和第三层次特征图，其中第一层次特征图的通道数为8，第二层次特征图的通道数为16，第三层次特征图的通道数为32；使用显著性提取网络对第一层次特征图、第二层次特征图和第三层次特征图进行处理，对应得到第一中间特征图、第二中间特征图和第三中间特征图，其中，显著性提取网络的输出通道数为1；将第一中间特征图、第二中间特征图和第三中间特征图分别乘以对应的显著性权重然后相加，得到图像数据的显著性特征图。
[0011]在一些实施例中，对图像数据进行多尺度聚合特征描述，包括：将第一层次特征图、第二层次特征图和第三层次特征图分别成乘以对应的聚合权重，得到第一多尺度特征图、第二多尺度特征图和第三多尺度特征图；将第一多尺度特征图、第二多尺度特征图和第三多尺度特征图按照通道维度堆叠，得到图像数据的多尺度聚合特征图。
[0012]在一些实施例中，的对点云序列中的多个点云数据进行配准和融合处理，得到被测对象的全景点云；包括：依次对点云序列中的两个相邻点云数据进行配准，得到两个相邻点云数据对应的旋转矩阵和平移向量；根据两个相邻点云数据对应的旋转矩阵和平移向量，依次融合两个相邻点云数据，得到新的点云序列；将新的点云序列作为被测对象的点云序列，重复上述得到新的点云序列的过程，指导新的点云序列中包含的点云数据的数量为1；得到被测对象的全景点云。
[0013]在一些实施例中，依次对点云序列中的两个相邻点云数据进行配准，得到两个相邻点云数据对应的旋转矩阵的平移向量，包括：使用基于FCGF的点云编码器，得到第一初始几何特征、第二初始几何特征，其中，第一初始几何特征对应于两个相邻点云数据中的一个，第二初始几何特征对应于两个相邻点云数据中的另一个；使用基于FCGF的点云解码器，得到第一初始几何特征对应的第一目标几何特征、第二初始几何特征对应的第二目标几何特征；使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。
[0014]本申请第二方面提供一种终端装置，包括：至少一个处理器和存储器；存储器，用于存储程序指令；处理器，用于调用并执行存储器中存储的程序指令，以使终端装置执行如本申请第一方面提供的三维重建方法。
[0015]本申请第三方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像与点云数据融合的三维重建方法，其特征在于，包括：获取被测对象的点云序列以及图像序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的点云数据，且所述点云序列覆盖所述被测对象的全景区域；所述图像序列包括多个图像数据，所述图像数据分别与所述点云数据一一对应；对所述点云序列中的多个所述点云数据进行配准和融合处理，得到所述被测对象的全景点云；对所述图像序列中的多个所述图像数据分别进行显著性特征提取和多尺度聚合特征描述，得到所述全景点云中每个点对应的显著性特征向量和多尺度聚合特征向量；根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量，其中，所述目标点为所述全景点云中除所述待观察点之外的任意一个点；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察特征向量、以及显著性特征向量进行聚合计算，得到所述待观察点的外观描述向量；将所述目标点相对于所述待观察点的观察特征向量，使用第二全连接网络进行计算，得到所述目标点相对于所述待观察点的观察密度向量；根据距离所述待观察点最近的k个点的相对于所述待观察点的观察密度向量、以及显著性特征向量进行聚合计算，得到所述待观察点的体密度信息；根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量；根据所述待观察点的高维位置向量和所述待观察点的外观描述向量，使用第三全连接网络进行计算，得到所述待观察点相对于所述观察采样点的辐射信息。2.根据权利要求1所述的三维重建方法，其特征在于，根据目标点的位置信息、待观察点的位置信息和目标点的多尺度聚合特征向量，使用第一全连接网络进行计算，得到所述目标点相对于所述待观察点的观察特征向量，包括：使用所述待观察点的位置信息减去所述目标点的位置信息，得到所述目标点相对于所述待观察点的相对位置信息；将所述目标点相对于所述待观察点的相对位置信息与所述目标点的多尺度聚合特征向量进行拼接，得到拼接后的多尺度聚合特征向量；使用所述第一全连接网络对所述拼接后的多尺度聚合特征向量进行计算，得到所述目标点相对于所述待观察点的观察特征向量。3.根据权利要求1所述的三维重建方法，其特征在于，按照如下公式进行聚合计算，得到所述待观察点的外观描述向量：其中，f
x
表示所述待观察点的外观描述向量，，i表示第i个目标点，A
i
表示第i个目标点对应的显著性特征向量，，其中，为第i个目标点的位置信息，x为所述待观察点的位置信息，表示第i个所述目标点相对于所述待观察点的观察特
征向量；按照如下公式进行聚合计算，得到所述待观察点的体密度信息：其中，表示所述待观察点的体密度信息，表示第i个所述目标点相对于所述待观察点的观察密度向量。4.根据权利要求1所述的三维重建方法，其特征在于，根据观察采样点的位置信息、所述待观察点的位置信息进行位置编码计算，得到所述待观察点相对于所述观察采样点的高维位置向量，包括：使用所述观察采样点的位置信息减去...

【专利技术属性】
技术研发人员：李骏，李想，杨苏，周方明，
申请(专利权)人：苏州立创致恒电子科技有限公司，
类型：发明
国别省市：