一种基于自适应单峰立体匹配成本滤波的双目深度学习方法技术

本申请公开了一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume)；3)对于每个匹配代价体(Cost Volume)，分别用一个自信度评估网络(Confidence Estimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth Cost Volume)，以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记。本发明专利技术的优点在于它能克服现有技术的弊端，结构设计合理新颖。

【技术实现步骤摘要】
一种基于自适应单峰立体匹配成本滤波的双目深度学习方法
本专利技术涉及一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，属于双目立体匹配视觉图像处理

技术介绍
双目立体视觉通过模仿人类视觉原理来获得丰富的三维立体数据，尤其是深度信息。经过多年的发展，双目立体视觉已经在工业测量、三维重建、无人驾驶等领域发挥了巨大作用。双目立体视觉是基于视差原理并利用成像设备从不同位置获得被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息的方法。双目立体匹配过程一般包含四个步骤：匹配代价计算，匹配代价聚合，视差图计算，视差图优化。其中匹配代价计算是整个算法的核心部分。传统的立体方法一般采用手工设计的图像特征和代价函数计算匹配代价，由于手工设计本身存在局限性，得到的立体匹配结果抗干扰能力弱，且能应对的场景有限。近年来，许多基于卷积神经网络的立体匹配方法提出将图像特征提取和代价函数学习建模为网络层。比如DispNetC提出利用correlation层作为代价函数的一种趋近，然后通过视差回归损失约束网络学习图像特征提取，由于correlation层计算匹配代价过程丢失过多信息，双目匹配结果精度较低；而GCNet则进一步释放了网络学习图像特征和代价函数的灵活性，提出将左右图特征在通道维度衔接，并且利用一系列三维卷积层学习匹配代价计算，然而端到端的网络设计以视差回归(由softargmin函数回归)损失监督网络学习，对匹配代价计算过程缺乏明确的约束，导致图像特征提取和代价计算函数无法得到有效的学习。<br>
技术实现思路
本专利技术提供一种基于自适应单峰立体匹配成本滤波的双目深度学习方法(AcfNet)，改进现有基于卷积神经网络的立体匹配方法，直接对匹配成本计算过程监督学习。为解决上述技术问题，本专利技术采取的技术方案是，一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(CostVolume)；3)对于每个匹配代价体(CostVolume)，分别用一个自信度评估网络(ConfidenceEstimationNetwork)估计自信度图并用于调节真实的匹配代价体(GroundTruthCostVolume)，以生成像素级别的单峰分布(UnimodalDistribution)作为网络训练标记；4)提出立体聚焦损失(StereoFocalLoss)约束估计的匹配代价体和真实的匹配代价体；5)通过SoftArgmin函数根据估计的匹配代价体生成亚像素的视差图，并且使用一个回归的L1损失监督估计的视差图和真实的视差图。本申请的技术方案中，理想情况下，每个像素点的匹配代价分布为以真实视差为中心的单峰分布。为了明确约束网络学习这种代价分布以学习更加鲁棒的图像特征和代价计算函数，我们提出根据真实视差图为每个像素生成以真实视差为中心的单峰代价分布，并且用于对网络预测的匹配代价体(CostVolume)直接施加监督。为了揭示每个像素点的匹配不确定度，我们设计了一个自信度估计网络去估计每个像素点的自信度并用于调节其对应的真实单峰分布。自信度评估网络是实现自适应匹配代价滤波的核心，它能够根据网络的学习难度自适应调整单峰分布的平缓度，也就是分布的方差。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，在步骤2)中进行真实单峰匹配代价分布生成，即对参考图像中的每个像素点p，都会在目标图像的同一极线上搜索一系列待匹配的像素点，匹配代价体反应的是待匹配像素对的相似性，真实的匹配对之间的匹配代价应该是最小的，而其他参数视差值的匹配代价应该随着和真实视差的距离而增加；每个像素的匹配代价分布都应该以真实视差为中心。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，在步骤3)中，构造一个自信度评估网络估计由主干网络预测的匹配代价的自信度，自信度评估网络根据网络的学习难度自适应调整单峰分布的平缓度，即自适应调整单峰分布单峰分布的方差。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，在步骤4)中，进行立体聚焦损失计算，匹配代价体为每个像素点都构建了D个匹配代价{C0，C1，···CD-1}，即匹配代价分布；对于像素点p，对估计的匹配代价分布和真实的匹配代价分布Pp(d)利用交叉熵损失衡量估计的匹配代价分布、真实的匹配代价分布之间的相似性并作为网络监督项。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，步骤2)中的真实单峰匹配代价分布生成中，假设目标图像中视差d搜索集合为{0,1,LD-1},其中真实视差值为dgt，真实单峰分布定义为：其中σ>0为方差，用于控制真实视差周围的峰型尖锐程度。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，步骤3)中的自信度评估网络中，自信度评估网络首先由一个3×3的卷积层，一个归一化层和一个ReLU层组成，并紧接着另一个1×1的卷积层和sigmoid函数输出一个值属于[0,1]之间的自信度图；对于输入的经过聚合后的匹配代价体，网络直接输出为自信度图f∈[0,1]H×W，其中H、W分别为图像高度、宽度。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，步骤3)中的自信度评估网络中，对于像素点p，真实匹配代价分布的方差可以由估计的自信度值fp进行动态调节：σp＝s(1-fp)+ε，其中s≥0为常量，反应了方差σ对自信度值改fp变的敏感程度，而∈＞0定义的是σ的下界，相应的σp∈[ε,s+ε]。对于像素点p，如果其预测的自信度fp很大，则意味着网络可以十分自信地找到其独一无二的匹配点；相反，如果其预测的自信度值很小，则意味着存在匹配模糊。因此，真实匹配代价分布的方差可以由估计的自信度值进行动态调节：σp＝s(1-fp)+ε。其中s≥0为常量，反应了方差σ对自信度值fp改变的敏感程度，而ε>0定义的是σ的下界，并且可以有效的防止除0的数学问题。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，步骤4)中的立体聚焦损失计算中，引入一个聚焦于正视差损失的权重因子用于改进交叉熵损失并最终形成立体聚焦损失的数学形式：其中α≥0是聚焦参数，当α＝0时，该损失函数则直接退化为交叉熵损失，当α>0时，立体聚焦损失会根据Pp(d)的大小分配更多的权重到正视差样本上。优化的，上述基于自适应单峰立体匹配成本滤波的双目深度学习方法，所述PSMNet立体匹配模型基础网络包括用于提取图像特征的空间金字塔模块(SpatialPyramidPoolingModule)，空间金字塔模块(本文档来自技高网...

【技术保护点】
1.一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：/n1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；/n2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(Cost Volume)；/n3)对于每个匹配代价体(Cost Volume)，分别用一个自信度评估网络(ConfidenceEstimation Network)估计自信度图并用于调节真实的匹配代价体(Ground Truth CostVolume)，以生成像素级别的单峰分布(Unimodal Distribution)作为网络训练标记；/n4)提出立体聚焦损失(Stereo Focal Loss)约束估计的匹配代价体和真实的匹配代价体；/n5)通过Soft Argmin函数根据估计的匹配代价体生成亚像素的视差图，并且使用一个回归的L

【技术特征摘要】
1.一种基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：对网络预测的匹配代价直接施加以真实视差为中心的单峰分布监督，实现自适应的匹配成本滤波，包括以下步骤：
1)构建数据集，数据集包括左图像和右图像，左图像和右图像作为一个立体图像对；
2)以PSMNet作为立体匹配模型基础网络，将立体图像对输入PSMNet立体匹配模型基础网络，PSMNet立体匹配模型基础网络输出三个经过堆积的沙漏3D卷积神经网络聚合后的匹配代价体(CostVolume)；
3)对于每个匹配代价体(CostVolume)，分别用一个自信度评估网络(ConfidenceEstimationNetwork)估计自信度图并用于调节真实的匹配代价体(GroundTruthCostVolume)，以生成像素级别的单峰分布(UnimodalDistribution)作为网络训练标记；
4)提出立体聚焦损失(StereoFocalLoss)约束估计的匹配代价体和真实的匹配代价体；
5)通过SoftArgmin函数根据估计的匹配代价体生成亚像素的视差图，并且使用一个回归的L1损失监督估计的视差图和真实的视差图。


2.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤2)中进行真实单峰匹配代价分布生成，即对参考图像中的每个像素点p，都会在目标图像的同一极线上搜索一系列待匹配的像素点，匹配代价体反应的是待匹配像素对的相似性，真实的匹配对之间的匹配代价应该是最小的，而其他参数视差值的匹配代价应该随着和真实视差的距离而增加；每个像素的匹配代价分布都应该以真实视差为中心。


3.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤3)中，构造一个自信度评估网络估计由主干网络预测的匹配代价的自信度，自信度评估网络根据网络的学习难度自适应调整单峰分布的平缓度，即自适应调整单峰分布单峰分布的方差。


4.根据权利要求1所述的基于自适应单峰立体匹配成本滤波的双目深度学习方法，其特征在于：在步骤4)中，进行立体聚焦损失计算，匹配代价体为每个像素点都构建了D个匹配代价{C0，C1，···CD-1}，即匹配代价分布；对于像素点p，对估计的匹配代价分布和真实的匹配代价分布Pp(d)利用交叉熵损失衡量估计的匹配代价分布、真实的匹配代价分布之间的相似性并作为网络监督...

【专利技术属性】
技术研发人员：百晓，张友敏，于洋，安冬，石翔，
申请(专利权)人：北京航空航天大学青岛研究院，上海歌尔泰克机器人有限公司，
类型：发明
国别省市：山东;37