自适应迭代残差优化的快速立体匹配算法制造技术

本发明专利技术公开了自适应迭代残差优化的快速立体匹配算法，包括特征提取、多尺度融合、视差计算及优化三个阶段；该算法具体包括双重注意力引导的特征聚合模块、自适应交叉十字匹配模块和自适应视差范围估计模块，其中双重注意力引导的特征聚合模块在多尺度特征聚合中通过加入通道注意力和空间注意力重新校准不同尺度的各特征通道和各像素点的权重；自适应交叉十字匹配模块：通过在左右图特征匹配中加入邻域信息，改善算法在无纹理区域的匹配精度；自适应视差范围估计模块：在多层残差优化模块中，通过视差图指导生成下一层较小的视差搜索范围，避免上一层累积误差向下传播，只生成稀疏代价体和视差残差图，降低了计算量和内存消耗生成。耗生成。

【技术实现步骤摘要】
自适应迭代残差优化的快速立体匹配算法


[0001]本专利技术涉及算法相关领域，具体为自适应迭代残差优化的快速立体匹配算法。

技术介绍

[0002]立体匹配是现代计算机视觉的前沿研究领域之一，在自动驾驶和机器人领域有着广泛的应用，其思想是通过估计矫正后的立体图像对中同一水平线上像素之间的视差来重建稠密的三维几何图形。基于深度学习的立体匹配算法能够达到亚像素精度和最低像素错误匹配率，但多以牺牲速度为代价。以快速计算为设计重点的算法在精度上无法与最先进的算法相媲美。
[0003]目前，使用4D代价体和3D卷积聚合匹配代价实现了较高精度的算法，但有速度慢和内存占用大等缺点。为了进一步提高精度同时避免因使用3D卷积带来巨大的计算成本，AANet提出了自适应尺度内和尺度外聚合提高了算法精度，但使用的可变形卷积带来了更大的计算量减慢了运行速度。LEAStereo通过神经体系结构搜索，为输入的图片选择可能的最佳参数进行立体匹配，在KITTI数据集上实现了最高的精度以及接近实时估计的性能，但其占用了较大的显存，并需要大量的计算资源来训练网络以计算出最佳的神经结构。STTR通过使用Transformer风格的交叉注意力模块替代代价匹配模块和3D卷积减少了计算量同时提高了匹配精度但是同样占用了大的显存也无法做到实时的检测。DeepPruner开发了一个可微PatchMatch模块，以有效地构建低分辨率拼接体的稀疏表示。利用预测的最小和最大视差对每个像素的搜索空间进行修剪。不幸的是，与性能最好的算法相比，这些以效率为导向的算法通常会大大降低精度。BGNet构造低分辨率4D代价体，设计基于双边网格的无参数切片层，从低分辨率代价体中获得保边的高分辨率代价体。
[0004]FDS
‑
CS提出了使用快速计算的传统匹配代价构建一个初始匹配代价体的更有效的网络架构，实现了较高的精度但速度较差，ADCPNet提出了一个动态偏移量预测模块，并设计了一个有效的两阶段框架，实现了更快的速度但精度较差。HITNet通过快速的多分辨率初始化步骤、可微的2D几何传播和warping来推断假设视差。不仅对视差进行几何推理，而且还推断出倾斜平面假设，但在训练时需要额外的传播损耗、倾斜损耗和置信度损耗，这可能导致在与训练数据特征不同的不可见场景中泛化能力较差。
[0005]更快速的算法通过由粗到细的方式分阶段上采样，逐步缩小目标视差范围，细化深度图，进一步降低了成本卷构建的记忆性和计算复杂度。然而，这种由粗到精的策略忽略了低分辨率匹配所丢失的细节信息[9,10,11,12,13,14]，并且不可避免地涉及累积误差，即前一阶段的误差很难在后一阶段得到补偿，在某些情况下又会产生较大的误差。

技术实现思路

[0006]本专利技术的目的在于提供自适应迭代残差优化的快速立体匹配算法，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：自适应迭代残差优化的快速立体匹
配算法，包括以下阶段：
[0008]阶段一，特征提取：使用蓝图可分离卷积提取左右图特征，并输出三种尺度特征图；
[0009]阶段二，多尺度融合：将每种尺度特征图与其它两种尺度特征图相加，并融合通道注意力权重和空间注意力权重，之后输出更新后的三种尺度特征图；
[0010]阶段三，视差计算及优化：通过自适应交叉十字匹配模块和3D卷积生成稠密代价体，并回归初始低分辨率视差图，在视差优化阶段中将前一层视差图上采样后与右图进行翘曲操作，得到的特征图再与左图生成稀疏代价体，并通过自适应视差范围估计模块估计出当前层的视察搜索范围，再通过3D卷积提取视差特征后回归视差残差图，视差残差与上采样后的视差图相加生成完整视差图，经过三层细化后最终生成高分辨率视差图。
[0011]优选的，所述视差计算及优化阶段中3D卷积分别设置通道数8、4、4、8的3
×3×
3卷积。
[0012]优选的，所述蓝图可分离卷积以平衡速度和精度之间的关系，其将一个标准卷积分解为一个深度卷积和一个1
×
1卷积。
[0013]优选的，所述通道注意力权重是指在每个尺度的通道维度上重新校准特征图，所述空间注意力权重是指在每个尺度的空间维度上重新校准特征图。
[0014]优选的，所述自适应交叉十字匹配模块利用一个具有预定义大小和自适应学习十字位置上各像素权重的交叉十字匹配方法来计算匹配代价。
[0015]优选的，所述自适应视差范围估计模块可估计上一阶段中像素级置信度生成下一阶段的视差搜索范围。
[0016]优选的，所述翘曲操作是一个通过现有的右图和视差图去估计左图的操作。
[0017]与现有技术相比，本专利技术的有益效果是：
[0018]1、空间注意力和通道注意力引导的特征融合，在每一层学习每一个尺度的空间注意力。在三种尺度特征图相互融合后，不同尺度空间注意力增强或减弱融合后的不同尺度的特征图各像素点的特征；
[0019]2、自适应交叉十字匹配模块，在不同层中将匹配点周围不同大小的交叉十字纳入到匹配范围中，同时自适应调整每个像素点的权重信息，交叉十字是一个正十字和一个旋转45
°
之后的十字；
[0020]3、自适应视差范围估计模块，通过计算加权和方法得到的预测视差值和峰值视差值的均方误差代表代价体趋向于单峰分布的程度，均方误差越大，视差搜索范围越大。
附图说明
[0021]图1为本专利技术自适应迭代残差优化的快速立体匹配算法结构图；
[0022]图2为本专利技术自适应迭代残差优化的快速立体匹配算法特征提取结构图；
[0023]图3为本专利技术自适应迭代残差优化的快速立体匹配算法多尺度融合模块结构图；
[0024]图4为本专利技术自适应迭代残差优化的快速立体匹配算法中自适应交叉十字匹配模块；
[0025]图5为本专利技术自适应迭代残差优化的快速立体匹配算法翘曲操作图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]请参阅图1
‑
5，本专利技术提供一种技术方案：自适应迭代残差优化的快速立体匹配算法，包括以下阶段：
[0028]阶段一，特征提取：使用蓝图可分离卷积(BSConv)提取左右图特征，并输出三种尺度特征图；
[0029]阶段二，多尺度融合：将每种尺度特征图与其它两种尺度特征图相加，并融合通道注意力权重和空间注意力权重，之后输出更新后的三种尺度特征图；
[0030]阶段三，视差计算及优化：通过自适应交叉十字匹配模块和3D卷积生成稠密代价体，并回归初始低分辨率视差图，在视差优化阶段中将前一层视差图上采样后与右图进行翘曲操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自适应迭代残差优化的快速立体匹配算法，其特征在于，包括以下阶段：阶段一，特征提取：使用蓝图可分离卷积提取左右图特征，并输出三种尺度特征图；阶段二，特征提取：将每种尺度特征图与其它两种尺度特征图相加，并融合通道注意力权重和空间注意力权重，之后输出更新后的三种尺度特征图；阶段三，视差计算及优化：通过自适应交叉十字匹配模块和3D卷积生成稠密代价体，并回归初始低分辨率视差图，在视差优化阶段中将前一层视差图上采样后与右图进行翘曲操作，得到的特征图再与左图生成稀疏代价体，并通过自适应视差范围估计模块估计出当前层的视察搜索范围，再通过3D卷积提取视差特征后回归视差残差图，视差残差与上采样后的视差图相加生成完整视差图，经过三层细化后最终生成高分辨率视差图。2.根据权利要求1所述的自适应迭代残差优化的快速立体匹配算法，其特征在于：所述视差计算及优化阶段中3D卷积分别设置通道数8、4、4、8的3
×3×
3卷积。3.根据权利要求1所述的自...

【专利技术属性】
技术研发人员：郭宏洋，
申请(专利权)人：河北工程大学，
类型：发明
国别省市：