【技术实现步骤摘要】
本专利技术涉及三维重建，特别是涉及一种基于自训练条件扩散模型的三维点云重建方法。
技术介绍
1、在当前数字化时代背景下，技术的进步催生了对世界更精确、更全面认识的迫切需求，利用图像进行三维点云重建已成为连接现实物理世界与数字世界的关键技术。重建的三维点云能够提供包含形状、尺寸、位置及相互空间关系的综合视图，为复杂场景的模拟与分析提供可能，在虚拟现实、自动驾驶、文化遗产保护等领域具有广泛的应用价值。因此，研究三维点云重建具有重要的理论价值和实际意义。
2、国内外学者对三维点云重建进行了深入研究，并取得了重要的成果。其中在已有的文献中最著名和效果最好的三维点云重建方法主要包括：1.用于从单个图像重建3d对象的点集生成网络：提出以变分自编码器为基础构建的点云生成网络，该网络由两条编码器分支、一条预测器分支及一条解码器分支组成，编码器部分对输入图像提取全局与局部特征，解码器对全局特征解码生成物体的全局形状，预测器利用局部特征生成物体的细节信息，最后合并全局形状及细节信息作为重建结果。2.用于从单张图像准确且多样地重建3d点云的潜在嵌入匹配：提出将图像与点云通过编码器映射到潜在特征空间进行匹配，进而由解码器根据图像特征重建多种可能的点云。3.基于注意力的单张图像密集点云重建：提出一种基于注意力的方法，由图像重建密集点云，并由注意力机制使编码器部分学习形状结构的特定细节。4.使用深度金字塔网络进行密集3d点云重建：提出采用深度金字塔网络，通过整合点云的局部和全局特征来提高重建点云的分辨率。5.从单张图像进行密集点云重建的级联生成
技术实现思路
1、本专利技术的目的是提出一种基于自训练条件扩散模型的三维点云重建方法，以解决上述现有技术存在的问题，能够有效利用图像信息，提升三维点云重建性能，同时降低对大规模标注数据依赖。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种基于自训练条件扩散模型的三维点云重建方法，包括：
4、获取待重建图像和高斯噪声；
5、构建三维点云重建网络模型，引入条件聚合模块和特征一致性损失，获取条件扩散的三维点云重建网络模型，将所述条件扩散的三维点云重建网络模型作为教师子模型和学生子模块，结合形状自然度模块及重建一致性损失，获取自训练条件扩散的三维点云重建网络模型；
6、将所述待重建图像和所述高斯噪声输入所述自训练条件扩散的三维点云重建网络模型，获取点云重建结果。
7、可选地，所述特征一致性损失为：
8、
9、其中，为特征一致性损失，c为特征图的通道数，和分别为特征图zo和za在第i个元素位置、第c个通道上的值，m为特征图上元素的总个数。
10、可选地，所述自训练条件扩散的三维点云重建网络模型包括：
11、教师子模型，用于获取无标签图像数据，将所述无标签图像数据进行三维点云重建，获取重建点云；
12、形状自然度模块，用于挖掘所述重建点云与所述无标签图像数据的内在联系，获取点云的结构自然且与所述无标签图像数据保持一致的伪标签点云，以扩充三维点云重建训练集，并结合去噪损失函数以及所述重建一致性损失对学生子模块进行训练；
13、学生子模块，用于动态更新所述教师子模型的参数，根据所述待重建图像和所述高斯噪声，获取所述点云重建结果。
14、可选地，所述形状自然度模块包括：
15、图像特征提取子模块，用于对所述无标签图像数据进行特征提取，获取第一图像特征；
16、点云特征提取子模块，用于对所述重建点云的几何结构信息进行提取，获取点云特征；
17、多尺度卷积子模块，用于将所述第一图像特征和所述点云特征进行拼接，获取融合特征；
18、自注意力子模块，用于对所述融合特征进行重标定，获取重标定特征，对所述重标定特征进行综合分析，获取点云质量评估结果，根据所述点云质量评估结果，判断所述点云的结构是否自然，且与无标签图像数据是否保持一致，获取点云的结构自然且与所述无标签图像数据保持一致的伪标签点云，以扩充三维点云重建训练集，并结合去噪损失函数以及所述重建一致性损失函数对学生子模块进行训练。
19、可选地，所述图像特征提取子模块包括：
20、二维卷积单元，用于对所述无标签图像数据进行初步卷积运算；
21、归一化单元，用于对卷积运算结果进行归一化处理，获取浅层特征；
22、若干残差单元，用于对所述浅层特征进行深层次处理，获取深层特征图；
23、最大池化单元，用于对所述深层特征图进行降维，获取第一图像特征。
24、可选地，所述点云特征提取子模块包括：
25、若干sa单元，用于对所述重建点云进行下采样，获取关键点信息，聚合所述关键点信息中关键点周围的点信息，获取局部点集，对所述局部点集中每一个点进行特征提取，将所有点的特征在特征维度上进行最大池化，获取层次化特征；
26、mlp单元，用于对所述层次化特征进行处理，获取点云特征。
27、可选地，所述多尺度卷积子模块包括：
28、重塑单元，用于将所述点云特征的尺寸重塑第一图像特征尺寸；
29、拼接单元，用于将重塑后的点云特征与所述第一图像特征进行拼接级联；
30、若干组卷积单元，用于将拼接级联后的特征图进行卷积处理，将多尺度信息进行拼接级联，获取融合特征。
31、可选地，获取所述去噪损失函数的方法为：
32、
33、其中，为去噪损失函数，∈θ(xt,t,zil)为预测噪声，∈为高斯噪声，xt为所述噪声点云，t为时间步，为第二图像特征；
34、获取所述重建一致性损失的方法为：
35、
36、其中，为重建一致性损失函数，pr为学生网络对增强图像重建的重建点云，pp为该无标签图像数据对应的伪标签点云，d(·)为相似度度量函数，为时间步t相关的权重函数。
37、可选地，所述学生子模型包括：
38、特征提取模型，用于对所述待重建图像进行特征提取，获取第二图像特征；
39、第一反向去噪模块，用于对所述高斯噪声进行反向去噪，获取噪声点云；
40、条件聚合模块，用于将所述图像特征和所述噪声点云进行拼接，获取输入点云；
41、噪声估计模块，用于对所述输入点云进行预测，获取预测噪声；
本文档来自技高网...
【技术保护点】
1.一种基于自训练条件扩散模型的三维点云重建方法，其特征在于，包括：
2.根据权利要求1所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述特征一致性损失为：
3.根据权利要求1所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述自训练条件扩散的三维点云重建网络模型包括：
4.根据权利要求3所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述形状自然度模块包括：
5.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述图像特征提取子模块包括：
6.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述点云特征提取子模块包括：
7.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述多尺度卷积子模块包括：
8.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，获取所述去噪损失函数的方法为：
9.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法
10.根据权利要求3所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，获取所述输入点云包括：
...【技术特征摘要】
1.一种基于自训练条件扩散模型的三维点云重建方法，其特征在于，包括：
2.根据权利要求1所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述特征一致性损失为：
3.根据权利要求1所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述自训练条件扩散的三维点云重建网络模型包括：
4.根据权利要求3所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述形状自然度模块包括：
5.根据权利要求4所述的基于自训练条件扩散模型的三维点云重建方法，其特征在于，所述图像特征提取子模块包括：
6...
【专利技术属性】
技术研发人员：王兴梅，冯泽，胡晓宇，徐悦竹，王雪涵，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。