【技术实现步骤摘要】
本专利技术涉及立体匹配领域、抗噪声方法与深度学习技术，具体涉及一种基于动态卷积和噪声体积构建的抗噪声立体匹配方法。
技术介绍
1、立体匹配是双目立体视觉中的核心概念，是指根据图像中像素间的视差(即左右图像中对应点的像素偏移量)来计算出物体的深度信息，从而实现对环境的感知和距离测量。
2、将深度学习(deep learning,dl)技术融入双目立体匹配算法能自主解析图像数据。卷积神经网络(convolutional neural networks,cnn)的设计方式与人类视觉处理的模式有相似之处，利用卷积核与图像像素逐一运算，从而捕捉图像的局部特征，人类视觉皮层中的神经元也是通过接收局部区域的刺激来感知图像的特征。由于cnn具有优秀的图像处理能力，以及良好的非线性能力、低误差率和高鲁棒性，基于cnn的双目立体匹配算法逐渐成为双目立体匹配研究的主流方向。
3、2015年，zbontar等人首次提出利用cnn改进立体匹配，cnn可以从输入图像中学习到更具有表达能力和鲁棒性的特征表示，这使得立体匹配算法能够更好地处理纹理不连续、遮挡和光照变化等复杂情况。2016年，mayer等人的开创性工作推出了dispnetc，这是首个基于cnn的端到端立体匹配网络，将左右图像对作为网络的输入，输出则是对应的视差图。2018年，chang等人在gc-net的基础上引入金字塔池化模块，提出了立体匹配网络psmnet。2021年，shen等人设计了cfnet，该网络利用串联和分组相关来生成多个特定尺度的组合代价体积。此外，cfn
4、虽然近年来深度学习已经成为双目立体匹配中新的研究趋势，许多基于深度学习的立体匹配模型不断提出，但在实际场景中，由于双目传感器获取的左右目图像会不可避免地引入图像噪声。原因可能是传感器长时间工作温度过高、场景亮度不够、传感器本身存在缺陷或是图像传输过程中的信号干扰等。含有噪声的输入图像必然会影响到立体匹配的精度。
5、然而，现有的研究者们更多地关注提升立体匹配网络结构本身的预测精度，忽略了自动驾驶这类实际应用场景中噪声对于立体匹配网络的干扰和影响。在自动驾驶场景中，双目传感器会引入一些噪声，包括：由于传感器内部的电流产生的暗电流噪声、传感器温度升高导致的热噪声、图像读取过程中由电子元件引入的读取噪声、低光照环境下产生的低光照噪声等等；这些噪声会导致特征点检测和匹配不准确，从而影响视差计算的精度，甚者，如果噪声较大会使立体匹配结果较为崩溃。
6、目前虽有一些方法在立体匹配中做了抗噪声性能的改进，但是许多方法没有考虑到噪声特征提取网络与立体匹配在计算资源方面的合理分配，导致前期去噪网络消耗了太多计算资源，影响后续匹配效果。此外，还有方法没有重视噪声体积的构建，导致代价体积中包含了复杂的噪声信息。
7、例如，专利2021101627621公开一种基于u-net和金字塔模块的图像融合去噪方法，该方案将u-net结构用于设计立体匹配结构，将ffdnet去噪网络用于立体匹配前的去噪，但是前期采用ffdnet去噪会耗费大量计算资源，不能保证后续匹配步骤的有效进行。又例如专利2023115219383公开一种基于注意力机制与噪声抑制gru的立体匹配方法，该方案将噪声抑制步骤置于构建代价体积之后，即利用添加噪声抑制的gru网络分别对高通道代价体进行优化并输出，忽略了噪声对于构建代价体积的影响，容易造成左右视差匹配错误。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决实际应用场景中噪声对于立体匹配网络的干扰和影响，提供一种基于动态卷积和噪声体积构建的抗噪声立体匹配方法。本专利技术将去噪任务和立体匹配结合在一个网络中，采用基于动态卷积的轻量级u-net结构网络提取噪声信息，既能有效地消除噪声又不需要对后续匹配步骤产生计算负担。在噪声干扰较大的区域利用噪声体积获取噪声特征从而消除噪声，在无噪声或是噪声较小处利用原有的代价体积进行聚合预测视差，通过结合两种代价体积实现噪声干扰下立体匹配的任务。
2、技术方案：本专利技术的一种基于动态卷积和噪声体积构建的抗噪声立体匹配方法，包括以下步骤：
3、步骤1、将原始的左噪声图像和右噪声图像同时输入噪声特征提取网络，所述噪声特征提取网络基于u-net结构并结合动态卷积层，立体匹配过程提取噪声特征时，噪声特征提取网络对左噪声图像和右噪声图像进行权值共享；
4、步骤2、利用步骤1所得噪声特征按照组相关方式构建噪声体积，构建方法为：先将噪声特征分为n组，若噪声特征的通道数为c，则每组包含的通道数为c/n；对每一组的特征进行逐像素的相关性计算，对于每个像素点在左图噪声特征和右图噪声特征的每一组之间计算相关性，生成一个组相关的代价体积，将所有组的相关性结果组合在一起，形成最终的噪声体积(本专利技术所得噪声体积中包含有噪声信息和深度信息)；
5、步骤3、对于原始的左噪声图像和右噪声图像，先利用efficientnetv2-m网络模型提取多尺度特征，然后构造视差代价体积；
6、步骤4、先将步骤2所得噪声体积和步骤3所得视差代价体积进行通道维度的串联，串联后再依次加入一个3×3卷积层和一层relu激活函数进行融合，最终得到融合代价体积，在噪声干扰较大的区域，利用融合代价体积中的噪声体积获取噪声特征从而消除噪声，在无噪声或是噪声较小的区域，可利用融合代价体积中原有的视差代价体积进行聚合预测视差；由于融合代价体积中包含丰富的噪声信息和视差信息，因此能有效地在噪声环境下进行立体匹配任务；
7、步骤5、对步骤4所得融合代价体积进行代价聚合得到初始视差图；构建级联代价体积并联合初始视差图以一个由粗到细的方式细化视差，得到细化后的最终视差图。
8、进一步地，所述噪声特征提取网络的动态卷积层中有多个卷积核，通过为不同卷积核分配不同的权重，利用注意力机制将各个卷积核以非线性方式聚合，从而提升网络的表示能力；
9、设定感知器为：
10、y＝g(wtx+b)
11、上式中，w是权重矩阵，b是偏置，g(·)表示激活函数；
12、则动态感知器通过聚合k个线性函数来定义，如下公式所示：
13、
14、
15、上式中，聚合权重和偏置共享相同的注意力，πk是第k个线性函数的注意力权重；聚合模型是一个非线性模型，本专利技术的动态卷积层更具灵活性，可以捕捉更丰富和复杂的特征表示。
16、进一步地，所述步骤5在获取初始视差图过程中，还使用代价自重组csr策略计算原始左图像各像素点的偏移，调整聚合过的代价卷中的代价分布，进而利用视差回归得初始视差图。
17、有益效果：与现有技术相比，本发本文档来自技高网...
【技术保护点】
1.一种基于动态卷积和噪声体积构建的抗噪声立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态卷积和噪声体积构建的抗噪声立体匹配方法，其特征在于，所述噪声特征提取网络的动态卷积层中有多个卷积核，通过为不同卷积核分配不同的权重，利用注意力机制将各个卷积核以非线性方式聚合；
3.根据权利要求1所述的基于动态卷积和噪声体积构建的抗噪声立体匹配方法，其特征在于，所述步骤5在获取初始视差图过程中，还使用代价自重组CSR策略计算原始左图像各像素点的偏移，调整聚合过的代价卷中的代价分布，进而利用视差回归得初始视差图。
【技术特征摘要】
1.一种基于动态卷积和噪声体积构建的抗噪声立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态卷积和噪声体积构建的抗噪声立体匹配方法，其特征在于，所述噪声特征提取网络的动态卷积层中有多个卷积核，通过为不同卷积核分配不同的权重，利用注意力机制将各...
【专利技术属性】
技术研发人员：袁康，许振兴，蔡咏杰，高伟，刘湘雯，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。