基于重构映射一致的无监督密集匹配方法及系统技术方案

本发明专利技术属于密集匹配技术领域，涉及一种基于重构映射一致的无监督密集匹配方法及系统，构建密集匹配网络，利用无监督损失函数作为目标约束函数来学习输入图像到视差图的映射，其中，无监督损失函数包含重构映射一致性损失函数、平滑损失函数及左右一致性损失函数；收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对密集匹配网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；利用测试优化后的密集匹配网络进行目标场景数据的密集匹配。本发明专利技术利用重构映射一致损失并结合平滑和左右一致损失作为无监督目标约束函数，提升网络模型训练收敛速度及精度，使用于密集匹配网络更加稳定，保证密集匹配效果和质量。集匹配效果和质量。集匹配效果和质量。

【技术实现步骤摘要】
基于重构映射一致的无监督密集匹配方法及系统


[0001]本专利技术属于密集匹配
，特别涉及一种基于重构映射一致的无监督密集匹配方法及系统。

技术介绍

[0002]随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现。深度学习方法在特征自动提取上具有传统方法无可比拟的优势。随着硬件技术的发展和深度学习理论的完善，这种方法在密集匹配上的潜力逐步显现。M
‑
CNN在密集匹配过程中采用了深度学习方法提取特征，利用卷积神经网络提取到了更为稳健的特征，替代了传统的测度匹配和相关系数匹配等特征提取方法，取得了不错的效果，同时为密集匹配端到端网络的出现奠定了基础；端到端的密集匹配网络以光流预测网络FlowNet为基础，在改进其上采样模块后，应用于密集匹配网络。虽然其在KITTI数据集上的排名并不是当时最靠前的，但为后面其他端到端的网络提供了思路。考虑到DispNet视差图缺乏多尺度信息，且网络不包含视差精化模块，iResNet在DispNet基础上增加了多尺度信息，并采用贝叶斯网络精化视差，进一步提升了匹配精度。这个阶段的网络仍以类似“U
‑
Net”的通用密集匹配网络结构为基础，通过大量的参数拟合密集匹配过程。另一方面，GCNet借鉴传统密集匹配思想，开创了密集匹配专用网络的分支，其基本流程为：特征提取、匹配代价构建、视差计算以及视差软回归四个步骤。该网络的主要贡献包括：
①
引入了残差块，进一步深挖特征；
②
>首次提出深度学习匹配代价构建和视差计算网络结构；
③
引入视差软回归(soft argmax)，将分类问题变为回归问题，以较小的参数代价取得了不错的效果。随后，PSMNet针对GCNet网络缺乏多尺度信息的问题，利用空洞卷积、金字塔池化(spatial pyramid pooling，SPP)以及堆叠沙漏等多种方式引入全局信息，进一步提升匹配的效果。随后的大多数网络均以PSMNet为原型进行改进；GwcNet在借鉴DispNet的左右特征图相关特征的基础上，提出了分组相关网络，并验证了特征相关信息在密集匹配中的有效性，进一步提升了匹配精度；之后的AcfNet针对密集匹配中的匹配歧义问题，提出了单峰网络在视差软回归过程中，视差概率值应呈现单峰特性。最终通过追加子网络提供单峰信息实现精度提升；而深度剪枝网络针对密集匹配过程中，内存和计算量过大的问题，通过粗匹配方式预估视差的上下限，在保证一定精度的条件下，极大地减少计算时间和内存的消耗。虽然深度学习密集匹配的监督方法在精度已经远超传统方法，但其所需的密集匹配标签数据集获取代价仍是高昂的。
[0003]此外，Scene Flow通过虚拟方式从3D投影到2D，虽然标签数据精度极高，但虚拟图像特征与真实图像特征可能存在一定差距；KITTI数据集虽然图像为真实场景，且视差图采用较为精准的激光雷达数据，但获取成本高昂，并且可能存在一定粗差，需要人工进行剔除。此外，激光雷达生成的标签数据为半稠密状，仅有约1/3的点存在真值，在距离较远的天空等区域没有标签数据；而在遥感等领域，标签数据获取、制作困难，流程复杂，且目前没有标准化的商业方法。因此，深度学习监督训练方法的实用化受限于标签数据的获取和制作。
相比于监督方法，无监督方法不依赖数据标签，更贴近实用，是发展的必然趋势。无监督方法重点研究损失函数，通过设定目标损失函数来训练网络，以替代标签数据。深度学习无监督的开端可追溯到图像重构损失函数，使网络可以进行端到端的无监督训练，随着重构损失可导这项关键技术突破，深度学习密集匹配无监督方法迎来了极大发展；在重构损失的基础上，引出共视域的概念，将遮挡区域和边缘非重叠区域掩膜掉，从而达到了提升精度的效果。从目前的实验结果来看，无监督方法密集匹配精度与监督方法相比，仍有较大的差距。

技术实现思路

[0004]为此，本专利技术提供一种基于重构映射一致的无监督密集匹配方法及系统，利用重构映射一致损失并结合平滑和左右一致损失作为无监督目标约束函数，提升网络模型训练收敛速度及精度，使用于密集匹配的网络更加稳定，保证目标场景密集匹配效果和质量。
[0005]按照本专利技术所提供的设计方案，提供一种基于重构映射一致的无监督密集匹配方法，包含：
[0006]构建密集匹配网络，利用无监督损失函数作为目标约束函数来学习输入图像到视差图的映射，其中，无监督损失函数包含重构映射一致性损失函数、平滑损失函数及左右一致性损失函数；
[0007]收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对密集匹配网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；
[0008]利用测试优化后的密集匹配网络进行目标场景数据的密集匹配。
[0009]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，密集匹配网络采用DispNet网络结构，该网络结构包含分别用于输入图像特征提取和视差图分辨率恢复的特征提取端和分辨率恢复端。
[0010]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，DispNet网络采用DispNetS网络结构，将输入图像左右图在通道维进行叠加来进行特征提取。
[0011]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，DispNet网络采用DispNetC网络结构，利用孪生网络将输入图像左右图分别进行特征提取并同时提取相关特征图，然后通过叠加来获取输入图像的特征。
[0012]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，密集匹配网络采用PSMNet网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过三维卷积模块来进行匹配代价的计算。
[0013]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，密集匹配网络采用PSMNet网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过堆叠沙漏模块来进行匹配代价的计算。
[0014]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，重构映射一致性损失函数包含用于约束重构图像和输入图像一致的重构损失约束、用于约束多次重构图像和输入图像循环一致的循环重构一致性损失约束、及用于约束首次重构图像和多次重构图像一致性的重构映射一致性约束。
[0015]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，通过输入图像
的一阶差分对视差图的一阶差分加权来获取平滑损失函数；并在重构视差图的重叠区域，利用左右一致性损失函数来约束左右视差图一致性。
[0016]作为本专利技术基于重构映射一致的无监督密集匹配方法，进一步地，所述场景样本数据包含作为训练样本用于预训练的SceneFlow数据集和作为测试样本用于测试调优的KITTI数据集。
[0017]进一步地，本专利技术还提供一种基于重构映射一致的无监督密集匹配系统，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重构映射一致的无监督密集匹配方法，其特征在于，包含：构建密集匹配网络，利用无监督损失函数作为目标约束函数来学习输入图像到视差图的映射，其中，无监督损失函数包含重构映射一致性损失函数、平滑损失函数及左右一致性损失函数；收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对密集匹配网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；利用测试优化后的密集匹配网络进行目标场景数据的密集匹配。2.根据权利要求1所述的基于重构映射一致的无监督密集匹配方法，其特征在于，密集匹配网络采用DispNet网络结构，该网络结构包含分别用于输入图像特征提取和视差图分辨率恢复的特征提取端和分辨率恢复端。3.根据权利要求2所述的基于重构映射一致的无监督密集匹配方法，其特征在于，DispNet网络采用DispNetS网络结构，将输入图像左右图在通道维进行叠加来进行特征提取。4.根据权利要求2所述的基于重构映射一致的无监督密集匹配方法，其特征在于，DispNet网络采用DispNetC网络结构，利用孪生网络将输入图像左右图分别进行特征提取并同时提取相关特征图，然后通过叠加来获取输入图像的特征。5.根据权利要求1所述的基于重构映射一致的无监督密集匹配方法，其特征在于，密集匹配网络采用PSMNet网络结构，在输入图像特征提取和匹配代价构建部分增加用于特征卷积融合的金字塔池化模块，并通过三维卷积模块来进行匹配代价的计算。6.根据权利要求1所述的基于重构映射一致的无监督密集匹配方法，其特征在于，密集匹配网络采用PSMNet网络...

【专利技术属性】
技术研发人员：金飞，王番，官恺，刘智，芮杰，刘潇，郭昊珺，汪建峰，缪毓喆，王淑香，林雨准，魏麟苏，高雪梅，李华，
申请(专利权)人：中国人民解放军六一三六三部队，
类型：发明
国别省市：