一种基于神经网络的视差图超解像方法技术

本发明专利技术公开了一种基于神经网络的视差图超解像方法，对输入的RGB进行数据预处理后，输入具有残差、跳越连接卷积神经网络模型中，得到原始分辨率的视差图。本发明专利技术提出的方法是基于神经网络，低分辨率图像作为输入，加上残差结构与跳越链接结构，降低了网络模型的计算量，除损失函数外网络无其他约束条件，与传统算法相结合，这种特殊的结构能对视差图进行高速且高质量的超解像，无需其他预处理及后处理方法，即可以突破传统算法运行精度的上限，能够在移动端GPU上能达到实时运行。相比端到端的神经网络算法，在精度相同的情况下，本方法运行速度更快，增强了立体视觉匹配系统的实用性。性。性。

【技术实现步骤摘要】
一种基于神经网络的视差图超解像方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于神经网络的视差图超解像的方法。

技术介绍

[0002]立体视觉匹配是深度估计中的重要步骤，其可用于智能生产、自动驾驶、机器人等领域。立体视觉匹配算法输出的图像是视差图，它表示同一个物体在左图与右图之间相对位置的变化。通过视差图可以计算目标点与像素点的距离。目前主流获得视差图的方式主要有传统算法以及神经网络算法，但它们有各自的问题：传统算法精度较差、神经网络算法运行速度较慢。
[0003]分表率缩小是一种加速立体视觉匹配的方法之一。将图像的分辨率缩小为原来的1/4可以将立体视觉计算的数量减小为原来的1/8，大大的提升立体视觉匹配计算速度。但是，通过传统插值方法获得的原始分辨率的视差图，其误差相比原始算法显著提升，过大的错误率导致难以达到实际应用的要求；视差图增强是提升立体视觉匹配算法精度的手段之一。用神经网络对传统算法产生的视差图进行视差图增强可以提升传统算法精度的上限。但是，对于高分辨率的图像，神经网络的计算量太大，且存在过拟合现象，网络运行速度仍难以达到实际应用的要求。
[0004]对于立体视觉匹配系统来说，把握速度与精度之间的平衡是至关重要的。

技术实现思路

[0005]专利技术目的：针对上述现有技术，提出一种在移动端GPU能实时运行的基于神经网络的视差图超解像方法。
[0006]技术方案：一种基于神经网络的视差图超解像方法，包括：
[0007]步骤1：获取低分辨率视差图以及低分辨率原始RGB图像并进行特征提取，并将特征信息拼接后输出；
[0008]步骤2：利用卷积模块对步骤1输出的特征信息进行降维，提取更深层的特征信息；
[0009]步骤3：利用反卷积模块对步骤2输出的特征信息进行升维，重构特征信息；
[0010]步骤4：将步骤3得到的结果与低分辨率视差图以及步骤1得到的特征信息一起上采样，得到原始分辨率的视差图。
[0011]进一步的，所述步骤1中，先将低分辨率原始RGB图像转换为灰度图后再进行特征提取。
[0012]进一步的，所述步骤2包括如下子步骤：
[0013]步骤2
‑
1：将步骤1得到的特征信息通过卷积模块进行下采样；
[0014]步骤2
‑
2：将步骤2
‑
1得到的结果通过卷积模块进一步做2次下采样，第1次下采样的输入为步骤2
‑
1的输出，第2次下采样的输入为第1次下采样的输出再经残差块提取的特征信息。
[0015]进一步的，所述步骤3包括如下子步骤：
[0016]步骤3
‑
1：将步骤2
‑
2得到的特征信息通过反卷积模块进行上采样，反卷积模块的输入为步骤2
‑
2的输出再经残差块提取的特征信息；
[0017]步骤3
‑
2：将步骤3
‑
1得到的结果通过反卷积模块进一步做2次上采样，第1次上采样的输入为步骤3
‑
1的输出与步骤2
‑
2中第1次下采样的输出经残差块提取的特征信息的拼接，第2次上采样的输入为第1次上采样的输出经残差块提取的特征信息与步骤2
‑
1的输出经残差块提取的特征信息的拼接，第2次上采样的输出即为重构的特征信息。
[0018]进一步的，所述残差块具有单层神经网络，所述残差块的输出为输入信息与单层神经网络提取的深层特征信息的拼接。
[0019]进一步的，对于所有的神经网络，激活函数均为ReLU函数，网络的损失函数为：
[0020][0021][0022]L＝L
noc
+L
occ
[0023]式中，m表示图像中有效点的个数，gt
noc
表示无遮挡区域的标注数据，gt
occ
表示所有区域的标注数据，Y表示神经网络的输出结果，L
noc
表示通过无遮挡区域的标注数据和神经网络输出结果计算出的损失函数，L
occ
表示通过所有区域的标注数据与神经网络输出结果计算出的损失函数，最终的损失函数L为两个损失函数之和。
[0024]有益效果：本专利技术的基于神经网络的视差图超解像方法，对输入的RGB进行数据预处理后，输入具有残差、跳越连接卷积神经网络模型中，得到原始分辨率的视差图。
[0025]具体的，本方法采取了低分辨率的图像作为神经网络的输入，相比于采取原始分辨率的图像输入，减少了网络的运算量，提升了网络的运算速度；另外，在下采样与上采样的过程中添加了残差块，能让网络在放大的过程中更好的处理边界信息；第三，在上采样的过程中，反卷积模块的输入为前一级的输出与下采样过程中得到的相同大小的信息块，这种跳越链接结构减少了网络需要学习的信息，加速了网络的收敛，同时减小了过拟合；第四，在得到原始分辨率的视差图的时候，将低分辨率的视差图与网络得到的特征拼接作为反卷积模块的输入，这样也可以加速网络收敛、减小过拟合。
[0026]本专利技术提出的方法是基于神经网络，低分辨率图像作为输入，加上残差结构与跳越链接结构，降低了网络模型的计算量，除损失函数外网络无其他约束条件，与传统算法相结合，这种特殊的结构能对视差图进行高速且高质量的超解像，无需其他预处理及后处理方法，即可以突破传统算法运行精度的上限，并且能够在移动端GPU上能达到实时运行。相比端到端的神经网络算法，在精度相同的情况下，本方法运行速度更快，增强了立体视觉匹配系统的实用性。
附图说明
[0027]图1为本专利技术方法的流程框图；
[0028]图2为本专利技术方法的流程图；
[0029]图3为本专利技术方法的网络结构图；
[0030]图4为本专利技术实施例中低分辨率RGB图像与视差图；
[0031]图5为通过本专利技术方法超解像的视差图与标注数据以及原始分辨率的图像的对比示意图。
具体实施方式
[0032]下面结合附图对本专利技术做更进一步的解释。
[0033]本实施例中，基于神经网络的视差图超解像的方法包括如下步骤：
[0034]步骤1：获取低分辨率视差图以及低分辨率原始RGB图像并进行特征提取，并将特征信息拼接后输出。其中，先将低分辨率原始RGB图像转换为灰度图后再进行特征提取，即将三通道压缩为单通道。
[0035]步骤2：利用卷积模块对步骤1输出的特征信息进行降维，提取更深层的特征信息，具体包括如下子步骤：
[0036]步骤2
‑
1：将步骤1得到的特征信息通过卷积模块进行下采样；
[0037]步骤2
‑
2：将步骤2
‑
1得到的结果通过卷积模块进一步做2次下采样，第1次下采样的输入为步骤2
‑
1的输出，第2次下采样的输入为第1次下采样的输出再经残差块提取的特征信息。在下采样的过程中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的视差图超解像方法，其特征在于，包括：步骤1：获取低分辨率视差图以及低分辨率原始RGB图像并进行特征提取，并将特征信息拼接后输出；步骤2：利用卷积模块对步骤1输出的特征信息进行降维，提取更深层的特征信息；步骤3：利用反卷积模块对步骤2输出的特征信息进行升维，重构特征信息；步骤4：将步骤3得到的结果与低分辨率视差图以及步骤1得到的特征信息一起上采样，得到原始分辨率的视差图。2.根据权利要求1所述的基于神经网络的视差图超解像方法，其特征在于，所述步骤1中，先将低分辨率原始RGB图像转换为灰度图后再进行特征提取。3.根据权利要求2所述的基于神经网络的视差图超解像方法，其特征在于，所述步骤2包括如下子步骤：步骤2
‑
1：将步骤1得到的特征信息通过卷积模块进行下采样；步骤2
‑
2：将步骤2
‑
1得到的结果通过卷积模块进一步做2次下采样，第1次下采样的输入为步骤2
‑
1的输出，第2次下采样的输入为第1次下采样的输出再经残差块提取的特征信息。4.根据权力要求3所述的基于神经网络的视差图超解像方法，其特征在于，所述步骤3包括如下子步骤：步骤3
‑
1：将步骤2
‑
2得到的特征信息通过反卷积模块进行上采样，反卷积模块的输入为步骤2
‑
2的输出再经残差块提取的特征信息；步骤3
‑

【专利技术属性】
技术研发人员：李昀，常穹，徐新，施毅，
申请(专利权)人：南京大学，
类型：发明
国别省市：