本发明专利技术涉及一种基于卷积的双目立体匹配网络结构，包括特征提取模块、粗糙视差值生成模块、视差范围预测模块、代价空间构建模块、粗糙视差图像生成模块以及精细视差图像生成模块；所述特征提取模块用于提取输入图像的特征数据，进行处理后输出相应输入图像的第一特征图像；所述粗糙视差值生成模块用于获取第一特征图像，进行处理后输出第一特征图像每个像素点的粗糙视差值。该基于卷积的双目立体匹配网络结构，将双目图像对作为输入，通过双目立体匹配网络直接输出视差图像，实现了端到端的网络结构设计，消除了传统双目立体匹配方法的后处理操作，如插值、滤波、亚像素增强等操作，极大提高了效率。大提高了效率。大提高了效率。
【技术实现步骤摘要】
一种基于卷积的双目立体匹配网络结构
[0001]本专利技术属于计算机视觉领域，具体涉及一种基于卷积的双目立体匹配网络结构。
技术介绍
[0002]计算机视觉是一门研究使用计算机来模拟人的视觉系统的学科。
[0003]从一个或多个RGB图像进行深度估计是一个长期存在的研究热门问题，在机器人、自动驾驶、物体识别和场景理解、3D建模和动画、增强现实、工业控制和医疗诊断等各个领域都有应用。
[0004]双目立体匹配技术作为计算机视觉领域的核心之一，其是采用两个位于同一水平线的相机拍摄两幅RGB图像，找到图像中的像素对应关系，通过三角测量原理获得深度。
[0005]传统双目立体匹配通常分为匹配代价计算、代价聚合、视差计算和后处理四个步骤。但是，传统立体匹配方法针对遮挡区域、弱纹理或存在重复纹理的区域匹配结果不好，对光照、对比度和噪声比较敏感。
[0006]近些年来，基于深度学习立体匹配方法通过CNN来学习数据的强烈表示也可以达到很好的效果受到广泛的关注，例如MC
‑
CNN方法。但是，基于CNN的立体匹配方法通过CNN获得的匹配计算结果用来初始化匹配代价，之后仍进行与传统立体匹配方法相同的步骤，过程较为繁琐。
技术实现思路
[0007]本专利技术的目的就在于为了解决上述问题而提供了一种基于卷积的双目立体匹配网络结构。
[0008]本专利技术通过以下技术方案来实现上述目的：
[0009]一种基于卷积的双目立体匹配网络结构，包括：
[0010]特征提取模块，用于提取输入为双目图像对的特征数据，进行处理后输出相应输入图像的第一特征图像；
[0011]粗糙视差值生成模块，用于获取第一特征图像，进行处理后输出第一特征图像每个像素点的粗糙视差值；
[0012]视差范围预测模块，用于获取第一特征图像及其每个像素点的粗糙视差值，进行处理后输出每个像素点的视差范围区间；
[0013]代价空间构建模块，用于获取第一特征图像及其每个像素点的视差范围区间，进行处理后输出第一特征图像在视差范围区间下的四维代价空间；
[0014]粗糙视差图像生成模块，用于获取四维代价空间，进行处理后输出四维代价空间尺度的粗糙视差图像；
[0015]精细视差图像生成模块，用于获取粗糙视差图像，进行处理后输出对应双目图像对的视差图像。
[0016]作为本专利技术的进一步优化方案，所述特征提取模块包括设置有三个二维卷积的第
一卷积单元、四个残差模块的残差结构单元、四个二维卷积的第二卷积单元、三个反卷积模块的第一反卷积单元、三个二维卷积的第三卷积单元以及三个反卷积模块的第二反卷积单元；
[0017]其中，
[0018]所述第一卷积单元对输入的双目图像对处理后分别经残差结构单元、第二卷积单元、第一反卷积单元、第三卷积单元以及第二反卷积单元处理后，由所述第二反卷积单元输出所述第一特征图像。
[0019]作为本专利技术的进一步优化方案，所述四个残差模块中的每一个残差模块的输入和输出均作为相邻下一个残差模块的输入；
[0020]所述第一反卷积单元中三个反卷积模块的每一个反卷积模块的输出均作为相邻下一个反卷积模块的输入；
[0021]所述第二反卷积单元中三个反卷积模块的每一个反卷积模块的输出均作为相邻下一个反卷积模块的输入，并由第二反卷积单元中的最后一个反卷积模块输出所述第一特征图像。
[0022]作为本专利技术的进一步优化方案，所述粗糙视差值生成模块包括：
[0023]视差初始化单元，用于在初始视差搜索范围内对所述第一特征图像的每个像素点随机初始化N个视差值；
[0024]视差传播单元，用于将每个像素点随机初始化视差值进行水平和垂直方向传播，使每个像素点拥有5
×
N个随机视差值；
[0025]视差评估单元，用于每个像素点对5
×
N个随机视差值分别计算匹配相似度，选取匹配相似度最高的视差值作为像素点的粗糙视差值。
[0026]作为本专利技术的进一步优化方案，所述视差范围预测模块包括设置有三个三维卷积的第一三维卷积单元以及三个三维反卷积的第一三维反卷积单元，所述第一三维卷积单元获取获取第一特征图像及其每个像素点的粗糙视差值，进行处理后经所述第一三维反卷积单元的最后一个三维反卷积输出像素点视差所在的范围区间；
[0027]其中，
[0028]所述三个三维卷积中的每一个三维卷积的输出作为相邻下一个三维卷积的输入；
[0029]所述三个三维反卷积中的每一个三维反卷积的输出作为相邻下一个三维反卷积的输入。
[0030]作为本专利技术的进一步优化方案，所述代价空间构建模块包括第一封装层，用于将所述第一特征图像及其每个像素点的视差范围区间在通道维度内封装成一个四维代价空间。
[0031]作为本专利技术的进一步优化方案，所述粗糙视差图像生成模块包括：
[0032]第一编解码结构单元，用于获取四维代价空间，进行处理后输出对应双目图像对的第二特征图像；
[0033]粗糙视差回归单元，用于获取第二特征图像，进行处理后输出与所述第二特征图像尺度相同的粗糙视差图像。
[0034]作为本专利技术的进一步优化方案，所述精细视差图像生成模块包括：
[0035]第二封装层，用于获取第一特征图像、第二特征图像和粗糙视差图像并将其在通
道维度封装成第三特征图像；
[0036]第四卷积单元，用于获取第三特征图像并进行处理后输出与粗糙视差图像尺度相同的精细视差图像；
[0037]视差图归一单元，用于获取所述精细视差图像，并对其进行插值上采样处理至与所述双目图像对尺度相同的视差图像。
[0038]本专利技术的有益效果在于：
[0039]本专利技术将双目图像对作为输入，通过双目立体匹配网络直接输出视差图像，实现了端到端的网络结构设计，消除了传统双目立体匹配方法的后处理操作，如插值、滤波、亚像素增强等操作，极大提高了效率。
附图说明
[0040]图1是本专利技术的整体结构框图；
[0041]图2是本专利技术特征提取模块的结构框图；
[0042]图3是本专利技术粗糙视差图像生成模块的结构框图；
[0043]图4是本专利技术精细视差图像生成模块的结构框图。
具体实施方式
[0044]下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
[0045]实施例1
[0046]如图1所示，一种基于卷积的双目立体匹配网络结构，包括特征提取模块、粗糙视差值生成模块、视差范围预测模块、代价空间构建模块、粗糙视差图像生成模块以及精细视差图像生成模块；
[0047]特征提取模块用于提取输入图像的特征数据，进行处理后输出相应输入图像的第一特征图像；其中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于卷积的双目立体匹配网络结构，其特征在于，包括：特征提取模块，用于提取输入为双目图像对的特征数据，进行处理后输出相应输入图像的第一特征图像；粗糙视差值生成模块，用于获取第一特征图像，进行处理后输出第一特征图像每个像素点的粗糙视差值；视差范围预测模块，用于获取第一特征图像及其每个像素点的粗糙视差值，进行处理后输出每个像素点的视差范围区间；代价空间构建模块，用于获取第一特征图像及其每个像素点的视差范围区间，进行处理后输出第一特征图像在视差范围区间下的四维代价空间；粗糙视差图像生成模块，用于获取四维代价空间，进行处理后输出四维代价空间尺度的粗糙视差图像；精细视差图像生成模块，用于获取粗糙视差图像，进行处理后输出对应双目图像对的视差图像。2.根据权利要求1所述的一种基于卷积的双目立体匹配网络结构，其特征在于：所述特征提取模块包括设置有三个二维卷积的第一卷积单元、四个残差模块的残差结构单元、四个二维卷积的第二卷积单元、三个反卷积模块的第一反卷积单元、三个二维卷积的第三卷积单元以及三个反卷积模块的第二反卷积单元；其中，所述第一卷积单元对输入的双目图像对处理后分别经残差结构单元、第二卷积单元、第一反卷积单元、第三卷积单元以及第二反卷积单元处理后，由所述第二反卷积单元输出所述第一特征图像。3.根据权利要求2所述的一种基于卷积的双目立体匹配网络结构，其特征在于：所述四个残差模块中的每一个残差模块的输入和输出均作为相邻下一个残差模块的输入；所述第一反卷积单元中三个反卷积模块的每一个反卷积模块的输出均作为相邻下一个反卷积模块的输入；所述第二反卷积单元中三个反卷积模块的每一个反卷积模块的输出均作为相邻下一个反卷积模块的输入，并由第二反卷积单元中的最后一个反卷积模块输出所述第一特征图像。4.根据权利要求3所述的一种基于卷积的双目立体匹配网络结构，其特征在于，所述粗糙视差值生成模块包括：视差初始化单元，用于在初始视差搜索范围内对所述第一特征图像的每个像素点随机...
【专利技术属性】
技术研发人员：鲍伟，沈浩然，徐玉华，孟周，张凯，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。