一种基于ZNCC算法和神经网络的实时立体匹配方法组成比例

本发明专利技术公开了一种基于ZNCC算法和神经网络的实时立体匹配方法，能既快速又准确地通过目标图像与参考图像计算出深度图像。首先，对输入的RGB图像进行下采样，并转换为灰度图像，得到低分辨率的灰度图像，然后，利用ZNCC算法进行低分辨率图片的匹配成本计算，并通过SGM算法、WTA算法、SMP算法生成初始的低分辨率的视差图，然后，通过神经网络算法得到高分辨率的视差图，最后，将其转换为深度图像。本发明专利技术方法是基于传统方案和神经网络算法的混合系统，其中，传统方案用以快速生成视差图，神经网络着重于对视差图的放大优化。通过本发明专利技术的技术方案，实现了实时立体视觉匹配系统，且系统具有很高的精确度。有很高的精确度。有很高的精确度。

【技术实现步骤摘要】
一种基于ZNCC算法和神经网络的实时立体匹配方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于ZNCC算法和神经网络的实时立体匹配方法。

技术介绍

[0002]立体视觉匹配是三维重建过程中的重要步骤，一般是通过2个或多个图像采集器，通过对同一时刻两采集器采集到的一对图像进行立体匹配，得到图像中各像素点的视差值，并可以进一步将视差值转换为深度值。立体视觉匹配的过程可以分为深度图像计算与深度图像优化两个步骤，当前的立体视觉匹配算法可以分为传统算法与神经网络算法，一般来说，基于神经网络算法搭建的立体匹配系统精确度更高，而基于传统算法的立体匹配系统运行速度更快。
[0003]在实际应用的过程中，受限于电源设备，只能采取低功耗的嵌入式设备进行立体视觉匹配。低功耗的嵌入式设备计算能力有限，导致基于神经网络算法搭建的立体视觉匹配系统难以达到实际应用的需要。而直接利用传统算法进行立体视觉匹配，其精度难以达到实际应用需要。

技术实现思路

[0004]专利技术目的：针对上述现有技术，提出一种基于ZNCC算法和神经网络的实时立体匹配方法，能既快速又准确的通过目标图像与参考图像计算出深度图像，实现速度与精度的平衡。
[0005]技术方案：一种基于ZNCC算法和神经网络的实时立体匹配方法，包括：
[0006]步骤1：对输入的RGB图像进行下采样并转灰度图，得到低分辨率的灰度图像；
[0007]步骤2：利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配，得到误差较大且低分辨率的视差图；
[0008]步骤3：利用神经网络对步骤2得到的视差图进行放大优化，得到原始分辨率的视差图；
[0009]步骤4：将步骤3得到的视差图转换为深度图像。
[0010]进一步的，所述步骤2包括如下子步骤：
[0011]步骤2
‑
1：将步骤1得到的灰度图像利用ZNCC算法计算匹配成本，具体包括：定义匹配窗口W，根据下式计算参考图与目标图中像素点的差异：
[0012][0013]其中，
[0014][0015][0016]以及：
[0017][0018][0019]式中，C(x,y,d)表示I
R
(x,y)和I
T
(x
‑
d,y)两个像素点之间的相似度，即为匹配成本，(x,y)、d分别表示坐标与视差，C(x,y,d)的值在0到1之间，值越小，两个像素点越相似；ΔI
R
(x,y)表示参考图中的像素点I
R
(x,y)减去其邻域的均值之后的结果；ΔI
T
(x
‑
d,y)表示目标图中的像素点I
T
(x
‑
d,y)减去其邻域均值之后的结果；σ
R
(x,y)和σ
T
(x
‑
d,y)是匹配窗口W中像素值的标准差；和是匹配窗口W中像素值的平均值；
[0020]步骤2
‑
2：将步骤2
‑
1得到的匹配成本通过半全局算法进行聚合，具体公式如下：
[0021][0022]其中，C
r
(x,y,d)表示在r方向上匹配成本的聚合，r代表任意方向；C
r
(x
‑
r,y,d)表示在r方向上位于点(x,y)前面的所有像素视差为d的匹配成本的聚合；C
r
(x
‑
t,y,d+1)表示在r方向上位于点(x,y)前面的所有像素视差为(d+1)的匹配成本的聚合；C
r
(x
‑
r,y,d
‑
1)表示在r方向上位于点(x,y)前面的所有像素视差为(d
‑
1)的匹配成本的聚合；P1与P2是惩罚系数；C
r
(x
‑
r,y,i)表示在r方向上位于点(x,y)前面的所有像素视差为i的匹配成本的聚合，i为除了d与(d
±
1)以外的任意视差值；k为使得在r方向上位于坐标(x,y)前面的所有像素匹配成本聚合最小的视差值；
[0023]最终的成本值C
SGM
(x,y,d)从不同方向汇总如下：
[0024][0025]最后，通过胜者通吃(WTA)算法获取初始低分辨率的视差图，具体公式如下：
[0026]D
map
(x,y)＝argmin
d
(C
SGM
(x,y,d))
[0027]其中，D
map
(x,y)表示低分辨率视差图中坐标为(x,y)像素点的值；
[0028]步骤2
‑
3：将步骤2
‑
2得到的低分辨率视差图通过单边匹配相算法进行优化，具体约束方程如下：
[0029][0030]其中，D为视差图中最大的视差值，D
map
(x
‑
l,y)表示视差图中坐标为(x
‑
l,y)像素点的值，l表示任意小于D的正整数；不满足该方程的点会被标记为无效点，其视差值由左右方向最近且最小的有效值代替。
[0031]进一步的，所述步骤3包括如下子步骤：
[0032]步骤3
‑
1：将步骤2
‑
3得到的视差图及步骤1得到的灰度图像通过神经网络提取特征图，卷积层的通道数为32；
[0033]步骤3
‑
2：将步骤3
‑
1得到的特征信息进行2次下采样，第一次下采样的输入为步骤3
‑
1中得到的特征图，卷积层的通道数为16，第二次下采样的输入为第一次下采样得到的输出再经残差块提取的特征信息，卷积层的通道数为32，从而得到压缩后的特征图；
[0034]步骤3
‑
3：将步骤3
‑
2得到的特征图转换为隐分布G，具体公式如下：
[0035]G＝gaussin*exp
sigma
‑1+(mu
‑
1)
[0036]其中，gaussin表示高斯随机分布；sigma与mu分别为隐分布的方差与均值，并利用神经网络将步骤3
‑
2得到的特征图降维得到；
[0037]步骤3
‑
4：将步骤3
‑
3得到的隐分布转换为特征图，卷积层通道数为32；
[0038]步骤3
‑
5：将步骤3
‑
4得到的特征图进行2次上采样，卷积层通道数为16，第一次上采样的输入为步骤3
‑
4得到的特征图与步骤3
‑
2中第二次下采样的输出经残差块提取的特征信息的拼接，第二次上采样的输入为第一次上采样的输出经残差块提取的特征信息和步骤3
‑
2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ZNCC算法和神经网络的实时立体匹配方法，其特征在于，包括：步骤1：对输入的RGB图像进行下采样并转灰度图，得到低分辨率的灰度图像；步骤2：利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配，得到误差较大且低分辨率的视差图；步骤3：利用神经网络对步骤2得到的视差图进行放大优化，得到原始分辨率的视差图；步骤4：将步骤3得到的视差图转换为深度图像。2.根据权利要求1所述的实时立体匹配方法，其特征在于，所述步骤2包括如下子步骤：步骤2
‑
1：将步骤1得到的灰度图像利用ZNCC算法计算匹配成本，具体包括：定义匹配窗口W，根据下式计算参考图与目标图中像素点的差异：其中，其中，以及：以及：式中，C(x，y，d)表示I
R
(x，y)和I
T
(x
‑
d，y)两个像素点之间的相似度，即为匹配成本，(x，y)、d分别表示坐标与视差，C(x，y，d)的值在0到1之间，值越小，两个像素点越相似；ΔI
R
(x，y)表示参考图中的像素点I
R
(x，y)减去其邻域的均值之后的结果；ΔI
T
(x
‑
d，y)表示目标图中的像素点I
T
(x
‑
d，y)减去其邻域均值之后的结果；σ
R
(x，y)和σ
T
(x
‑
d，y)是匹配窗口W中像素值的标准差；和是匹配窗口W中像素值的平均值；步骤2
‑
2：将步骤2
‑
1得到的匹配成本通过半全局算法进行聚合，具体公式如下：其中，C
r
(x，y，d)表示在r方向上匹配成本的聚合，r代表任意方向；C
r
(x
‑
r，y，d)表示在r方向上位于点(x，y)前面的所有像素视差为d的匹配成本的聚合；C
r
(x
‑
r，y，d+1)表示在r方向上位于点(x，y)前面的所有像素视差为(d+1)的匹配成本的聚合；C
r
(x
‑
r，y，d
‑
1)表示在r方向上位于点(x，y)前面的所有像素视差为(d
‑
1)的匹配成本的聚合；P1与P2是惩罚系数；C
r
(x
‑
r，y，i)表示在r方向上位于点(x，y)前面的所有像素视差为i的匹配成本的聚合，i为除了d与(d
±
1)以外的任意视差值；k为使得在r方向上位于坐标(x，y)前面的所有像素匹配成本聚合最小的视差值；
最终的成本值C
SGM
(x，y，d)从不同方向汇总如下：最后，通过胜者通吃(WTA)算法获取初始低分辨率的视差图，具体公式如下：D
map
(x，y)＝argmin
d
(C
SGM
(x，y，d))其中，D
map
(x，y)表示低分辨率视差图中坐标为(x，y)像素点的值；步骤2
...

【专利技术属性】
技术研发人员：李昀，徐新，常穹，施毅，
申请(专利权)人：南京大学，
类型：发明
国别省市：