一种图像快速立体匹配方法及装置制造方法及图纸

本发明专利技术公开了一种图像快速立体匹配方法及装置，该方法包括如下步骤：将参考视图过分割为互不重叠的多个区域；计算参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；确定当前像素i处的候选视差子集合和支持子集合；迭代计算像素i的聚合匹配代价，根据聚合匹配代价更新缩小候选视差子集合和支持子集合，使候选视差子集合和支持子集合中的元素不断减少，直至候选视差子集合中的候选视差数目降低至设定视差数目；选择候选视差子集中最小匹配代价对应的视差值作为像素i的第一视差值。本发明专利技术在保证匹配精度的同时大大加快了算法运行速度；另外使用了基于PatchMatch算法的视差平面拟合方法，能够较快地收敛到最优平面参数估计值。

【技术实现步骤摘要】
一种图像快速立体匹配方法及装置
本专利技术涉及计算机视觉领域，尤其涉及一种图像快速立体匹配方法及装置。
技术介绍
高精度的深度信息在计算机视觉领域的很多应用场合都起着至关重要的作用，尤其是在立体视觉中，高质量稠密深度图的获取是三维重建、基于深度图绘制以及虚拟视点合成的关键。双目立体匹配是经典的视差图或深度图获取技术，也是计算机视觉领域中的研究热点之一。一个完整有效的立体匹配算法框架可分为像素级匹配代价计算、匹配代价聚合、视差优化及计算、视差修正这四个步骤。目前主流的立体匹配算法可分为局部算法和全局算法两类。局部算法的优点是简单、有效、快速，全局算法由于加入了全局优化的过程，其视差图结果更好，但全局优化一般需要极大的计算复杂度，算法运行速度较慢。此外还有一类基于图像分割和视差平面拟合的立体匹配算法，在使用局部算法得到初始视差图结果后对每个分割区域在视差空间中拟合一个平面，并可以进一步构建能量函数优化这些平面标号，确定了平面参数即确定了该区域内像素的视差值。此类算法可得到接近全局算法的结果，但运行时间较短，是目前最主流的立体匹配算法之一。现有算法中以当前像素为中心的一个矩形窗口中所有邻域像素都要参与匹配代价聚合，这种算法的运行速度较慢。目前的视差平面拟合收敛太慢。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种图像快速立体匹配方法及装置，以保证输出良好的视差图结果的同时，相比现有算法在快速性与高效性上有较大提高。一种图像快速立体匹配方法，包括如下步骤：S10，将参考视图过分割为互不重叠的多个区域；S20，对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；其中，所述像素i′与像素i之间的视差是所述候选视差d；S30，根据所述原始候选视差集合D计算所述像素i的像素初始匹配代价，确定最大的像素初始匹配代价和最小的像素初始匹配代价；选择像素初始匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合，选择像素初始匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合；其中，所述候选视差子集合包含所述支持子集合；S40，根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口，迭代计算所述像素i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目，若是则执行步骤S50，否则继续执行步骤S40；S50，选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值优选地，还包括如下步骤：S60，对获得的视差图进行修复：以当前目标视图为参考视图，以当前参考视图为目标视图，采用步骤S10至S50的方法计算第二视差值并获得第二视差图逐一检查当前参考视图中的每一像素i，根据第一视差值在当前目标视图中确定对应的像素j，如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i，则认为像素i属于被遮挡区域，像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。优选地，还包括如下步骤：S70，以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合，迭代优化拟合平面参数并确定最终的视差图。优选地，还包括如下步骤：在所述步骤S30中：根据像素初始匹配代价C0(i,d)计算最大的像素初始匹配代价C0_max和最小的像素初始匹配代价C0_min：候选视差子集合Di_candidate(0)满足：Di_candidate(0)＝{d|C0_min≤C0(i,d)≤C0_min+δhigh(0)(C0_max-C0_min),d∈D}；支持子集合Di_support(0)满足：Di_support(0)＝{d|C0_min≤C0(i,d)≤C0_min+δlow(0)(C_max-C0_min),d∈D}，δhigh(0)和δlow(0)是参数，且δhigh(0)＞δlow(0)。优选地，步骤S40包括：S401，在第k次迭代中，对于像素i和候选视差d∈Di_candidate(k)：在像素i周围的矩形窗Wi内随机采样|Ni_sample|个领域像素j，|Ni_sample|＜＜|Wi|，且选取的邻域像素j与像素i之间的视差d∈Dj_support(k),i,j∈Sc，则像素i的聚合匹配代价Ck(i,d)为：其中wij为邻域像素j参与像素i代价聚合的加权值，Sc表示参考视图经过过分割的区域；S402，根据当前聚合代价Ck(i,d)更新所述支持子集合Di_support和所述候选视差子集合Di_candidate：δlow(k)＝λδlow(k-1),δhigh(k)＝λδhigh(k-1)，Di_candidate(k)＝{d|Ck_min≤Ck(i,d)≤δhigh(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)}；Di_support(k)＝{d|Ck_min≤Ck(i,d)≤δlow(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)}；其中，判断Di_candidate中的视差值数目减少到满足：|Di_candidate|＜0.1|D|，若是则对于像素i处的迭代终止，否则返回步骤S402继续进入下一轮迭代，其中，|Di_candidate|表示Di_candidate中的元素数目，|D|表示原始候选视差集合D中的元素数目。优选地，σr和σs为预设参数，Ni_sample固定包含像素i，且wii＝1。优选地，其中，像素i的坐标为(xi，yi)，像素i′的坐标为(xi′，yi′)，且xi′＝xi-d，yi′＝yi，γ1为灰度差或彩色差的截断阈值，γ2为8邻域梯度差和的截断阈值，α为加权值，8邻域梯度定义为：(ak,bk)∈{(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)}。本专利技术还提供了一种图像快速立体匹配装置，包括：第一处理单元，用于将参考视图过分割为互不重叠的多个区域；第二处理单元，用于对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；其中，所述像素i′与像素i之间的视差是所述候选视差d；第三处理单元，用于根据所述原始候选视差集合D计算所述像素i的像素本文档来自技高网...

【技术保护点】
一种图像快速立体匹配方法，其特征是，包括如下步骤：S10，将参考视图过分割为互不重叠的多个区域；S20，对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；其中，所述像素i′与像素i之间的视差是所述候选视差d；S30，根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价，确定最大的像素初始匹配代价和最小的像素初始匹配代价；选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合，选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合；其中，所述候选视差子集合包含所述支持子集合；S40，根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口，迭代计算所述像素i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目，若是则执行步骤S50，否则继续执行步骤S40；S50，选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值...

【技术特征摘要】
1.一种图像快速立体匹配方法，其特征是，包括如下步骤：S10，将参考视图过分割为互不重叠的多个区域；S20，对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d，计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价；其中，所述像素i′与像素i之间的视差是所述候选视差d；S30，根据所述原始候选视差集合D计算所述像素i的像素初始匹配代价，确定最大的像素初始匹配代价和最小的像素初始匹配代价；选择像素初始匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合，选择像素初始匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合；其中，所述候选视差子集合包含所述支持子集合；S40，根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口，迭代计算所述像素i的聚合匹配代价，根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合，使所述候选视差子集合和所述支持子集合中的元素不断减少，并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目，若是则执行步骤S50，否则继续执行步骤S40；S50，选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值2.如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤：S60，对获得的视差图进行修复：以当前目标视图为参考视图，以当前参考视图为目标视图，采用步骤S10至S50的方法计算第二视差值并获得第二视差图逐一检查当前参考视图中的每一像素i，根据第一视差值在当前目标视图中确定对应的像素j，如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i，则认为像素i属于被遮挡区域，像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。3.如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤：S70，以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合，迭代优化拟合平面参数并确定最终的视差图。4.如权利要求1所述的图像快速立体匹配方法，其特征是，还包括如下步骤：在所述步骤S30中：根据像素初始匹配代价C0(i,d)计算最大的像素初始匹配代价C0_max和最小的像素初始匹配代价C0_min：候选视差子集合Di_candidate(0)满足：Di_candidate(0)＝{d|C0_min≤C0(i,d)≤C0_min+δhigh(0)(C0_max-C0_min),d∈D}；支持子集合Di_support(0)满足：Di_support(0)＝{d|C0_min≤C0(i,d)≤C0_min+δlow(0)(C0_max-C0_min),d∈D}，δhigh(0)和δlow(0)是参数，且δhigh(0)＞δlow(0)。5.如权利要求4所述的图像快速立体匹配方法，其特征是，步骤S40包括：S401，在第k次迭代中，对于像素i和候选视差d∈Di_candidate(k)：在像素i周围的矩形窗Wi内随机采样|Ni_sample|个领域像素j，|Ni_sample|＜＜|Wi|，且选取的邻域像素j与像素i之间的视差d∈Dj_support(k),i,j∈Sc，则像素i的聚合匹配代价Ck(i,d)为：其中wij为邻域像素j参与像素i代价聚合的加权值，Sc表示参考视图经过过分割的区域；S402，根据当前聚合代价Ck(i,d)更新所述支持子集合Di_support和所述候选视差子集合Di_candidate：δlow(k)＝λδlow(k-1),δhigh(k)＝λδhigh(k-1)，Di_candidate(k)＝{d|Ck_min≤Ck(i,d)≤δhigh(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)}；Di_support(...

【专利技术属性】
技术研发人员：王好谦，田雨时，宣慧明，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44