一种基于可变形卷积网络的图像立体匹配方法以及系统技术方案

本发明专利技术提供了基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、识别鲁棒性不足的技术问题。方法包括：形成两侧视图的视图特征；根据视图特征的差异形成特征差值；利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据；根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。可以有效应对常见的单向遮挡、光线变化等问题，增强算法鲁棒性。减少数据成本，有效利用计算资源。

【技术实现步骤摘要】
一种基于可变形卷积网络的图像立体匹配方法以及系统
本专利技术涉及图像识别
，具体涉及一种基于可变形卷积网络的图像立体匹配方法以及系统。
技术介绍
现有技术中，立体匹配是双目深度估计过程中进行左视图与右视图的像素匹配以生成视差图的关键步骤。现有的立体匹配方法中，一类采用图像块匹配、全局匹配、半全局匹配等传统立体匹配算法构造绝对值之和、互信息等匹配代价函数，对整个像素块进行对比，采用搜索、动态规划等方法进行最小代价计算，需要内存大，运行时间长，且容易由于影像噪声、遮挡、弱纹理或重复纹理等原因产生错误匹配。另一类基于深度学习卷积网络使用cost-volume模块逐像素搜索最小匹配代价的方法，对常出现的单向遮挡、光线变化问题鲁棒性不足，同时该方法需要大量标有真值的训练图像(如雷达图)进行端到端的训练。现有技术都存在运行速度慢，占用内存大的技术缺陷。
技术实现思路
鉴于上述问题，本专利技术实施例提供一种基于可变形卷积网络的图像立体匹配方法以及系统，解决现有技术中立体匹配模型训练成本高企、模型识别鲁棒性不足的技术问题。本专利技术实施例的基于可变形卷积网络的图像立体匹配方法，包括：形成两侧视图的视图特征；根据所述视图特征的差异形成特征差值；利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。本专利技术实施例的基于可变形卷积网络的图像立体匹配系统，包括：存储器，用于存储上述的基于可变形卷积网络的图像立体匹配方法处理过程对应的程序代码；处理器，用于执行所述程序代码。本专利技术实施例的基于可变形卷积网络的图像立体匹配系统，其特征在于，包括：特征形成装置，用于形成两侧视图的视图特征；差值形成装置，用于根据所述视图特征的差异形成特征差值；偏移形成装置，用于利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；预测形成装置，用于利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；训练形成装置，用于根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；视差形成装置，用于根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。本专利技术实施例的基于可变形卷积网络的图像立体匹配方法以及系统利用建立特征推断网络从两侧视图的特征差异中形成提取视差的采样偏移量数据，并通过可变形卷积网络形成预测特征与真实特征的量化偏差，进而通过量化偏差形成对特征推断网络的优化从而间接获得提高视差数据质量的采样偏移量数据。根据立体匹配算法本质，采用可变形卷积网络从一张视图采样生成对应视图，采用基于各像素的采样偏移量置信度的损失函数计算方法，可以有效应对立体匹配中常见的单向遮挡、光线变化等问题，增强算法鲁棒性。特征推断网络的训练可以采用自监督、弱监督学习的方式进行训练，减少视图中数据标识的获取成本，可以有效利用现有计算资源，有效数据获取的实时性较好。附图说明图1所示为本专利技术一实施例基于可变形卷积网络的图像立体匹配方法的流程图。图2所示为本专利技术一实施例基于可变形卷积网络的图像立体匹配方法中形成相对侧视图的视图预测特征的流程图。图3所示为本专利技术一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络自监督训练的流程图。图4所示为本专利技术一实施例基于可变形卷积网络的图像立体匹配方法中形成特征推断网络弱监督训练的流程图。图5所示为本专利技术一实施例基于可变形卷积网络的图像立体匹配系统的架构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本专利技术作进一步说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术一实施例基于可变形卷积网络的图像立体匹配方法如图1所示。在图1中，本实施例包括：步骤100：形成两侧视图的视图特征。本领域技术人员可以理解，视图的视图特征可以通过特征图表征，特征图可以通过设置特征提取的卷积核对视图卷积形成。两侧视图通过相同的卷积核形成特征图，提取的特征类型对应。步骤200：根据视图特征的差异形成特征差值。根据两侧视图的特征图对比可以获得对应两侧视图的两侧特征图中对应位置视觉特征的量化差异。步骤300：利用特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据。视图特征的量化差异是由视图形成的采样过程形成的，可以认为由两侧视图中对应像素形成时的采样偏移形成。采样偏移是指对客观对象进行平行图像采集时，受采集通道的细小客观差别影响，造成一侧采样数据与另一侧采样数据的差别。利用视图特征的量化差异可以通过技术手段提取对应像素形成时的(基于一侧像素采样数据的)采样偏移量。步骤400：利用一侧视图特征和初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征。本领域技术人员可以理解，可变形卷积网络可以根据偏移参量对正常的图像像素属性进行适配输出包含偏移目标的图像像素属性。利用两侧视图特征图间形成的采样偏移数据和一侧视图特征可以形成另一侧视图特征。另一侧视图特征的形成质量与采样偏移数据的精度正相关。初始采样偏移数据的采样偏移精度受特征推断网络初始的参数和超参数局限。。步骤500：根据视图预测特征与另一侧视图特征的差异调整特征推断网络的损失函数，训练特征推断网络优化输出的采样偏移数据。步骤600：根据优化阈值将采样偏移数据形成两侧视图像素间的视差值。经过优化的采样偏移数据可以准确量化两侧视图中匹配块图像间的水平距离，可以充分适应形成立体视觉过程中形成两侧视图的双摄像头与观察物体间的距离变化。本专利技术实施例的基于可变形卷积网络的图像立体匹配方法利用建立特征推断网络从两侧视图的特征差异中形成提取视差的采样偏移量数据，并通过可变形卷积网络形成预测特征与真实特征的量化偏差，进而通过量化偏差形成对特征推断网络的优化从而间接获得提高视差数据质量的采样偏移量数据。根据立体匹配算法本质，采用可变形卷积网络从一张视图采样生成对应视图，采用基于各像素的采样偏移量置信度的损失函数计算方法，可以有效应对立体匹配中常见的单向遮挡、光线变化等问题，增强算法鲁棒性。特征推断网络的训练可以采用自监督、弱监督学习的方式进行训练，减少视图中数据标识的获取成本，可以有效利用现有计算资源，有效数据获本文档来自技高网...

【技术保护点】
1.一种基于可变形卷积网络的图像立体匹配方法，其特征在于，包括：/n形成两侧视图的视图特征；/n根据所述视图特征的差异形成特征差值；/n利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；/n利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；/n根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；/n根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。/n

【技术特征摘要】
1.一种基于可变形卷积网络的图像立体匹配方法，其特征在于，包括：
形成两侧视图的视图特征；
根据所述视图特征的差异形成特征差值；
利用所述特征差值通过特征推断网络确定一侧视图特征与另一侧视图特征的初始采样偏移数据；
利用所述一侧视图特征和所述初始采样偏移数据通过可变形卷积网络形成另一侧的视图预测特征；
根据所述视图预测特征与所述另一侧视图特征的差异调整所述特征推断网络的损失函数，训练所述特征推断网络优化输出的采样偏移数据；
根据优化阈值将所述采样偏移数据形成所述两侧视图像素间的视差值。


2.如权利要求1所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述视图特征的过程包括：
获取两侧采集通道中对应的两侧视图；
对两侧视图进行特征提取形成一侧视图特征图和另一侧视图特征图。


3.如权利要求2所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成特征差值的过程包括：
将一侧视图特征图和另一侧视图特征图进行减法操作形成特征差值图。


4.如权利要求3所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成初始采样偏移数据的过程包括：
通过残差卷积模块形成特征推断网络；
将特征差值图输入特征推断网络输出特征差值图每个像素的偏移量，所有偏移量形成初始采样偏移数据。


5.如权利要求4所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述形成视图预测特征的过程包括：
将初始采样偏移数据和一侧视图特征图分别输入可变形卷积网络；
可变形卷积网络根据初始采样偏移数据采样一侧视图特征图，输出另一侧视图的视图预测特征图。


6.如权利要求5所述的基于可变形卷积网络的图像立体匹配方法，其特征在于，所述训练过程包括：
比较另一侧视图的视图预测特征图和视图特征图，形成量化误差；
根据量化误差设置采样偏移数据置信度的损失函数形成特征推断网络的...

【专利技术属性】
技术研发人员：林浩亮，周振，俞益洲，李一鸣，乔昕，
申请(专利权)人：北京深睿博联科技有限责任公司，杭州深睿博联科技有限公司，
类型：发明
国别省市：北京;11