【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于gru和3dcnn的多视图三维重建方法及系统。
技术介绍
1、三维重建是从二维图像或其他数据源(如传感器、激光雷达等)生成三维模型的过程。它在计算机视觉、计算机图形学和机器人等领域中具有广泛的应用。三维重建的目标是重建物体或场景的几何形状、尺寸和空间关系，以便进行分析、可视化或其他后续处理。一些常见的三维重建技术有：手工建模、结构光、激光扫描和多视图三维重建等。
2、多视图三维重建是一种通过分析来自不同视角的二维图像来恢复三维场景结构的技术。近年来，这一领域在计算机视觉、图形学以及人工智能等多个学科中得到了广泛关注，应用范围涵盖虚拟现实、增强现实、自动驾驶、机器人导航及文化遗产保护等多个领域。
3、传统的多视图重建方法通常依赖于立体视觉和运动视差等技术。这一过程一般包括几个关键步骤：图像特征提取、特征点匹配得到稀疏点云、多视图立体匹配得到稠密点云。然而传统的多视图三维重建方法在处理复杂场景时面临诸多挑战。例如，在光照变化、视角变化或部分遮挡情况下，特征点的匹配变得困难，导致重建结果的不准确。传统方法通常依赖于简单的几何假设，难以处理具有复杂形状和丰富细节的场景。此外，随着输入图像数量的增加，特征提取和匹配的计算复杂性也显著上升，导致效率下降。
4、近年来，深度学习技术的迅速发展为多视图三维重建带来了新的机遇。深度学习通过构建深层神经网络，能够自动提取高层次特征，从而消除手工特征设计的需求。基于深度学习的多视图三维重建主要在特征自动学习、端到端训练以及对噪声
5、在多视图三维重建领域中，主要存在以下问题：
6、1、级联架构的错误累计问题。上一阶段估计的低分辨率深度图错误，会导致在下一阶段深度假设时覆盖不到深度真值，从而最终导致错误的估计结果；
7、2、低分辨率阶段的细节丢失问题。在低分辨率阶段，深度真值需要下采样到相同的低分辨率做监督，一些纤细的场景结构细节会在下采样的过程中丢失，从而导致神经网络无法学习到正确的细节，产生错误的深度估计。
技术实现思路
1、本专利技术实施例的主要目的在于提出一种基于gru和3dcnn的多视图三维重建方法及系统，能够提高高分辨率的深度估计准确度，并实现更完整的三维重建。
2、为实现上述目的，本专利技术实施例的一方面提出了一种基于gru和3dcnn的多视图三维重建方法，包括以下步骤：
3、获取目标对象在不同视角下的图像集合，并确定其中的参考图像和源图像；
4、对所述参考图像和所述源图像进行特征提取，得到参考图像和源图像在不同分辨率下的对应的特征图；
5、在场景的深度范围内采样多个深度假设，并根据相机参数将各个特征图在不同的深度假设进行可微单应变换，得到对应的源特征体和参考特征体；将源特征体与参考特征体按通道划分成多个组，通过组相似性度量模块分组计算组相似度，基于组相似度构造并聚合匹配代价体；
6、对所述匹配代价体进行代价体正则化操作，得到概率体；
7、对所述概率体沿深度方向计算深度期望值，得到低分辨率参考图像对应的估计深度图；
8、将所述低分辨率的深度图上采样后归一化，以归一化的深度值为中心，在其周围缩小的深度采样范围内采样深度假设，构建动态的匹配代价体；将匹配代价体输入到门控循环单元中得到更新的深度图；
9、以更新的深度值为中心，在其周围采样新的深度假设，并构建新的动态代价体，进而通过多次迭代得到修复后的深度图；
10、逐一利用修复后的深度图，构建匹配代价体，再进行代价体正则化操作并计算深度期望，得到较高分辨率的参考图像对应的深度图，直至得到与原分辨率大小相同的深度图；
11、根据所述深度图计算相应的损失函数，最终完成多视图三维重建。
12、在一些实施例中，所述对所述参考图像和所述源图像进行特征提取，得到参考图像和源图像在不同分辨率下的对应的特征图，具体为：将所述参考图像和所述源图像输入特征提取模块，输入的参考图像和源图像的尺寸为3×h×w，经过11个卷积层，最终输出的尺寸为其中在第三层、第六层及第九层的卷积层下采样使其变为原有高宽的二分之一。
13、在一些实施例中，所述在场景的深度范围内采样多个深度假设，并根据相机参数将各个特征图在不同的深度假设进行可微单应变换，得到对应的源特征体和参考特征体；将源特征体与参考特征体按通道划分成多个组，通过组相似性度量模块分组计算组相似度，基于组相似度构造并聚合匹配代价体，包括以下步骤：
14、根据平面扫描算法原理，以垂直于参考相机的主光轴的平面作为深度假设平面，所有特征图被扭曲到参考相机的不同前平面中，将源图像上的所有像素坐标映射到参考图像上的像素坐标；
15、将所有源图像上的像素坐标扭曲到参考图像上的坐标，得到扭曲后的源特征体源特征体的维度为其中c代表通道维度，d代表深度维度；坐标扭曲过程的表达式为：其中，k0，ki分别为参考图像和源图像的相机内参，ri,0为对应的旋转矩阵，ti,0为对应的平移向量，dj为对应的采样深度值，pi,j为源图像中像素p对应的像素坐标；
16、将参考特征体复制d份扩充得到并将所有特征体按通道维度均匀的分成g组，每组通道数为c’；
17、计算扭曲后的源特征体和扩充后的参考特征体之间的组相似度，组相似度的计算公式为：其中，<·,·>是内积运算；
18、经过组相似性度量模块得到n-1个匹配代价体，可记为其维度为利用方差将特征体进行聚合计算值，最终得到匹配代价体，匹配代价体c的计算公式为：
19、在一些实施例中，所述对所述匹配代价体进行代价体正则化操作，得到概率体，包括以下步骤：
20、通过3d卷积进行正则化处理，得到概率体；具体为：
21、采用包含四个尺度的3d-unet的网络结构，对原匹配代价体进行编码和解码，并将各通道数压缩为1，最终在深度方向上对概率体使用softmax操作进行概率值的归一化处理，经过正则化后输出的概率体维度为
22、所述对所述概率体沿深度方向计算深度期望值，得到低分辨率参考图像对应的估计深度图，具体为：采用回归的方式来实现深度值的预测，沿着深度方向计算采样深度值的期望，深度估计值d的计算公式为：其中，p(d)表示在深度d处的各像素的估计概率，[dmin,dmax]为深度值的取值范围，输出的深度图尺寸为
23、在一些实施例中，所述将所述低分辨率的深度图上采样后归一化，以归一化的深度值为中心，在其周围缩小的深度采样范围内采样深度假设，构建动态的匹配代价体；将匹配代价体输入到门控循环单元中得到更新的深度图，包括以下步骤：
24、通过双线性插值将分辨率深度图上采样到分辨率并归一化，得到深度图d；
本文档来自技高网...
【技术保护点】
1.一种基于GRU和3DCNN的多视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于GRU和3DCNN的多视图三维重建方法，其特征在于，
3.根据权利要求1所述的一种基于GRU和3DCNN的多视图三维重建方法，其特征在于，所述在场景的深度范围内采样多个深度假设，并根据相机参数将各个特征图在不同的深度假设进行可微单应变换，得到对应的源特征体和参考特征体；将源特征体与参考特征体按通道划分成多个组，通过组相似性度量模块分组计算组相似度，基于组相似度构造并聚合匹配代价体，包括以下步骤：
4.根据权利要求1所述的一种基于GRU和3DCNN的多视图三维重建方法，其特征在于，所述对所述匹配代价体进行代价体正则化操作，得到概率体，包括以下步骤：
5.根据权利要求1所述的一种基于GRU和3DCNN的多视图三维重建方法，其特征在于，所述将所述低分辨率的深度图上采样后归一化，以归一化的深度值为中心，在其周围缩小的深度采样范围内采样深度假设，构建动态的匹配代价体；将匹配代价体输入到门控循环单元中得到更新的深度图，包括以下步骤：<...
【技术特征摘要】
1.一种基于gru和3dcnn的多视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于gru和3dcnn的多视图三维重建方法，其特征在于，
3.根据权利要求1所述的一种基于gru和3dcnn的多视图三维重建方法，其特征在于，所述在场景的深度范围内采样多个深度假设，并根据相机参数将各个特征图在不同的深度假设进行可微单应变换，得到对应的源特征体和参考特征体；将源特征体与参考特征体按通道划分成多个组，通过组相似性度量模块分组计算组相似度，基于组相似度构造并聚合匹配代价体，包括以下步骤：
4.根据权利要求1所述的一种基于gru和3dcnn的多视图三维重建方法，其特征在于，所述对所述匹配代价体进行代价体正则化操作，得到概率体，包括以下步骤：
5.根据权利要求1所述的一种基于gru和3dcnn的多视图三维重...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。