本发明专利技术涉及数据融合技术领域，具体公开了一种三维重建方法、点云融合方法、装置、设备及存储介质，其中，融合方法包括以下步骤：获取第一点云信息和点云序列信息；根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息；根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；基于反向传播算法利用梯度下降的方式更新融合参数，直至对比损失函数收敛，以确定最佳融合参数；根据最佳融合参数融合第一点云信息和点云序列信息，以获取融合点云信息；该融合方法的融合过程无需对点云信息进行预先标注，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了点云融合效率、融合精度。度。度。
【技术实现步骤摘要】
三维重建方法、点云融合方法、装置、设备及存储介质
[0001]本申请涉及数据融合
，具体而言，涉及一种三维重建方法、点云融合方法、装置、设备及存储介质。
技术介绍
[0002]三维重建是计算机视觉和计算机图形学领域的研究热点，旨在将给定的基于现实的数据恢复为几何模型。
[0003]三维重建技术的一个重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，经过点云数据的配准及融合，即可实现景物的三维重建。
[0004]21世纪随着各种面向普通消费者的深度相机的出现，基于深度数据的三维扫描和重建技术得到了飞速发展。
[0005]三维重建可以基于多种方式采集的点云数据融合进行，现有的点云融合方式对于无人车采集的点云数据和无人机采集的点云数据进行融合时需要对点云信息进行预先标注，存在融合效率低、精度低的问题。
[0006]针对上述问题，目前尚未有有效的技术解决方案。
技术实现思路
[0007]本申请的目的在于提供一种三维重建方法、点云融合方法、装置、设备及存储介质，以实现了无人机采集数据和无人车采集数据融合，加快点云融合过程，提高点云融合效率、精度以提高三维重建的效率、精度。
[0008]第一方面，本申请提供了一种点云融合方法，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，所述融合方法包括以下步骤：获取所述第一点云信息和所述点云序列信息；根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。
[0009]本申请的一种点云融合方法，根据自注意力机制将点云序列信息转换为由融合参数设定的第二点云信息，然后根据对抗自监督学习算法设计对比损失函数，并基于反向传播算法利用梯度下降的方式获取第一点云信息与点云序列信息的最佳融合结果，从而简化了点云融合过程，提高了点云融合效率、融合精度。
[0010]所述的一种点云融合方法，其中，所述融合参数包括卷积参数、自注意力参数和输出融合参数，所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点
云信息的步骤包括：将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息；根据所述自注意力机制将所述卷积点云信息初步融合，输出包含所述自注意力参数的初步融合点云信息；根据所述自注意力机制将所述初步融合点云信息进一步融合，输出包含所述输出融合参数的所述第二点云信息。
[0011]该示例的融合方法利用自注意力机制将点云序列信息转换成包含卷积参数、自注意力参数和输出融合参数的第二点云信息，使得点云融合重建中能通过调节卷积参数、自注意力参数和输出融合参数改变第一点云信息与第二点云信息的配准效果，降低了第二点云信息的转换难度和点云融合的融合难度；另外，点云序列信息自身具备序列特点，作为自注意力机制中具有序列化特性的输入项能实现时间复杂度的快速计算，提高整个点云融合过程的效率。
[0012]所述的一种点云融合方法，其中，所述根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括：根据卷积特征提取函数及全连接网络降采样函数获取所述第一点云信息的第一特征输入信息和所述第二点云信息的第二特征输入信息；根据对抗自监督学习算法设计关于所述第一特征输入信息和所述第二特征输入信息的对比损失函数。
[0013]在该示例的融合方法中，基于对抗自监督学习算法设计的对比损失函数其最终用于指导第一点云信息和第二点云信息两者之间相似的部分尽量融合、不相似部分尽量远离，因此，该对比损失函数包含第一特征输入信息和第二特征输入信息构成的相似项，以及第一特征输入信息和第二特征输入信息构成的不相似项。
[0014]所述的一种点云融合方法，其中，所述基于反向传播算法利用梯度下降方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数的步骤包括：设计关于所述融合参数的梯度下降函数，所述梯度下降函数输出值为所述对比损失函数的输入值；基于所述反向传播算法更新所述梯度下降函数，直至所述对比损失函数收敛；将所述对比损失函数收敛时的所述融合参数确定为所述最佳融合参数。
[0015]该示例的融合方法利用特征提取的方式根据第一点云信息和第二点云信息获取可用于神经网络学习的第一特征输入信息和第二特征输入信息，以根据第一特征输入信息和第二特征输入信息设计对比损失函数以进行对抗损失操作，使得对比损失函数快速收敛以获取用于将第一点云信息和点云序列信息进行融合的最佳融合参数，能有效提高点云融合的效率、精度。
[0016]第二方面，本申请还提供了一种三维重建方法，用于根据多种点云信息对大型场景进行三维重建，所述重建方法包括以下步骤：通过无人机获取第一点云信息；通过无人车及RTK地面站获取点云序列信息；根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息；获取所述第一点云信息的点云法线；根据所述点云法线和所述融合点云信息获取融合模型。
[0017]本申请的一种三维重建方法，根据自注意力机制和对抗自监督学习算法获取最佳融合参数，将无人车采集的点云序列信息转换为第二点云信息，并与无人机采集的第一点云信息进行融合，结合的点云法线计算即可获取融合模型；点云序列信息和第一点云信息的融合过程无需预先确定label，利用对比损失函数更新融合参数即能使相似部分尽可能融合，实现了无人机采集数据和无人车采集数据融合，简化了点云融合过程，提高了三维重建效率、三维重建精度。
[0018]所述的一种三维重建方法，其中，所述重建方法还包括以下步骤：获取所述大型场景的设计模型，根据所述设计模型优化所述融合模型。
[0019]该示例的三维重建方法利用设计模型优化融合模型，使得融合模型整体更完整、结构更准确。
[0020]所述的一种三维重建方法，其中，所述获取所述第一点云信息的点云法线的步骤包括：对所述第一点云信息进行序列编程以建立关于所述第一点云信息的序列信息；对所述第一点云信息进行凸包计算以获取关于第一点云信息的三维凸包模型；根据所述序列信息和所述三维凸包模型获取所述点云法线。
[0021]第三方面，本申请还提供了一种点云融合装置，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，所述融合装置包括：获取模块，用于获取所述第一点云信息和所述点云序列信息；转换模块，用于根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；损失函数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种点云融合方法，用于融合无人机采集的第一点云信息与无人车采集的点云序列信息，其特征在于，所述融合方法包括以下步骤：获取所述第一点云信息和所述点云序列信息；根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息；根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数；基于反向传播算法利用梯度下降的方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数；根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息，以获取融合点云信息。2.根据权利要求1所述的一种点云融合方法，其特征在于，所述融合参数包括卷积参数、自注意力参数和输出融合参数，所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息的步骤包括：将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息；根据所述自注意力机制将所述卷积点云信息初步融合，输出包含所述自注意力参数的初步融合点云信息；根据所述自注意力机制将所述初步融合点云信息进一步融合，输出包含所述输出融合参数的所述第二点云信息。3.根据权利要求1所述的一种点云融合方法，其特征在于，所述根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括：根据卷积特征提取函数及全连接网络降采样函数获取所述第一点云信息的第一特征输入信息和所述第二点云信息的第二特征输入信息；根据对抗自监督学习算法设计关于所述第一特征输入信息和所述第二特征输入信息的对比损失函数。4.根据权利要求3所述的一种点云融合方法，其特征在于，所述基于反向传播算法利用梯度下降方式更新所述融合参数，直至所述对比损失函数收敛，以确定最佳融合参数的步骤包括：设计关于所述融合参数的梯度下降函数，所述梯度下降函数输出值为所述对比损失函数的输入值；基于所述反向传播算法更新所述梯度下降函数，直至所述对比损失函数收敛；将所述对比损失函数收敛时的所述融合参数确定为所述最佳融合参数。5.一种三维重建方法，用于根据多种点云信息对大型场景进行三维重建，其特征在于，所述重建方法包括以下步骤：通过无人机获取第一点云信息；通...
【专利技术属性】
技术研发人员：张晟东，王济宇，焦家辉，张立华，邓涛，李志建，古家威，蔡维嘉，
申请(专利权)人：季华实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。