立体匹配方法、控制器和系统技术方案

一种立体匹配方法、控制器和系统，该方法包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来构造有方向的图模型；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。

Stereo matching method, controller and system

A stereo matching method, controller and system, the method includes: the matching cost between pixels and second pixels of the first graph graph; estimated as parallax pixels first and second maps of the reference image, the values and the corresponding reliability, among them, the reliability of the said pixel prediction the correct disparity value to calculate the probability; between the two pixel direction of energy propagation coefficient according to the reliability of the difference between visual features two pixels of the reference image in the degree and in the image coordinates of the distance and the two pixels corresponding to the propagation coefficient based on the energy; a direction to construct the graph model of the direction of the energy transmission coefficient; based on the direction of the implementation of the belief propagation algorithm to obtain parallax pixel value update.

【技术实现步骤摘要】
立体匹配方法、控制器和系统
本专利技术涉及图像处理领域，且更具体地涉及立体匹配方法、控制器和系统。
技术介绍
立体匹配是立体匹配中最基本的技术，它主要需要解决的问题是如何将真实对象点在双目摄像机拍摄的左右两幅图像中的投影点对应起来，即通过一幅图像的每个像素点，如何准确找出在另一幅图像中的对应点，从而计算对应点对的图像坐标差值，得出视差值。到目前为止立体匹配算法研究已取得了显著的发展，涌现出了许多立体匹配算法，算法匹配精度不断提高。根据约束方式的不同，可将立体匹配算法分为局部匹配算法和全局匹配算法两大类。局部匹配算法通常是对待匹配像素点周围小邻域内进行讨论，获得待匹配点的视差值，此类算法往往计算量小，易于硬件实现。全局匹配算法是对扫描线甚至整个图像进行讨论，通过不同视差分布计算全局范围内的不同相似性度量值，最小度量值即为最优视差分布。通常全局匹配方法都是在一个全局能量函数最小化的框架下进行的，根据约束条件，定义出相应的全局能量函数，通过算法计算获得全局能量函数最小值时所对应的视差分布，即得出视差图。因此，仍然存在对立体匹配方法的不断探索以寻求更精确的立体匹配结果。
技术实现思路
置信传播算法可以应用于立体匹配的全局匹配算法中。置信传播算法的优点是根据区域的特点自动调节消息传输的距离远近，它不仅考虑了相邻像素点对目标像素点的影响，还考虑了不相邻像素点对目标像素点的影响，同时能很好的处理低纹理区域和深度不连续区域，在低纹理区域，消息可以传输很远；在不连续区域，消息的传输很快停止。这些方法通常首先利用局部匹配实现粗匹配，找出其中正确的匹配点对(种子点)，用这些匹配点对进行全局匹配处理，以计算其他像素点的视差值，最终获得精度更高的稠密视差图。这种方法的最基本的步骤就是计算像素之间的关系，即如何将种子点的信息传播到其他点，将多少种子点的信息来进行置信传播。信息传播的能量的多少可以用能量传播系数来表征。现有的技术通常采用匹配代价计算、初始视差值计算、以及与邻像素的输入/输出消息传递的步骤。在消息传递过程中完成置信传播。本公开的技术对现有的置信传播算法进行了改进，提高了立体匹配的精确度。具体地，根据本专利技术的一个方面，提供一种立体匹配方法，包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。根据本专利技术的另一个方面，提供一种立体匹配系统，包括：拍摄装置，被配置为拍摄第一图和第二图；控制器，被配置为接收所述拍摄装置发送的第一图和第二图，并计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。根据本专利技术的另一个方面，提供一种立体匹配控制器，包括：匹配代价计算装置，被配置为计算第一图的像素和第二图的像素之间的匹配代价；预估装置，被配置为预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；能量传播系数计算装置，被配置为根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；视差值获得装置，被配置为基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。附图说明图1示出应用根据本专利技术的实施例的立体匹配算法的系统硬件场景图。图2示出了根据本专利技术的一个实施例的立体匹配方法的示意流程图。图3A示出了置信传播算法的传播示意图。图3B示出了根据本专利技术的实施例的考虑种子点的可靠度来进行置信传播算法的示意图。图3C示出了根据本专利技术的实施例的考虑两个像素点之间的传播是非对称的方式来进行置信传播算法的示意图。图4示出了根据本专利技术的实施例的基于可靠度的置信传播算法的立体匹配过程的示意图。图5示出了根据本专利技术的实施例的立体匹配控制器的方框图。具体实施方式现在将详细参照本专利技术的具体实施例，在附图中例示了本专利技术的例子。尽管将结合具体实施例描述本专利技术，但将理解，不是想要将本专利技术限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本专利技术的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。注意，接下来要介绍的示例仅是一个具体的例子，而不作为限制本专利技术的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本专利技术的构思来构造本说明书中未提到的更多实施例。图1示出应用根据本专利技术的实施例的立体匹配算法的系统硬件场景图。如图1所示的一种立体匹配系统包括：拍摄装置100，被配置为拍摄第一图102(1)和第二图102(2)；控制器101，被配置为执行根据本专利技术的实施例的立体匹配算法。该立体匹配算法可以包括接收所述拍摄装置100发送的第一图和第二图，并计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。由此，可以通过更新的视差值来构建最终的视差图。在此，如果该拍摄装置为双目相机，则拍摄得到至少作为第一图的左图和作为第二图的右图。在以下实施例的说明中，采用示例而非限制的左图和右图来给出说明。但实际上，随着科技的发展，可能出现多维相机，而本专利技术公开的立体匹配技术也可以应用于多维立体匹配中。在此，控制器101可以包括通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。处理器101可以以单个芯片、芯片组、集成电路、单片机等的形式。通用处理器可以是微处理器，但是作为替换，该控制器可以是任何商业上可获得的处理器、微控制器或状态机。控制器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。控制器内部还可以包括存储器(未示出)。存储器可以存储至少一本文档来自技高网...

【技术保护点】
一种立体匹配方法，包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。

【技术特征摘要】
1.一种立体匹配方法，包括：计算第一图的像素和第二图的像素之间的匹配代价；预估作为参考图像的、第一图和第二图之一中的像素的视差值和对应的可靠度，其中，所述可靠度表示该像素的预估的视差值的正确的概率；根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数；基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值。2.根据权利要求1所述的方法，其中，所述根据所述参考图像中的两个像素之间的所述视觉特征的差异度和在图像坐标中的距离和该两个像素对应的可靠度来计算该两个像素之间的有方向的能量传播系数的步骤包括：针对所述参考图像中的每两个像素，计算该两个像素之间的视觉特征的差值、以及在参考图像中的距离；基于两个像素之间的所述视觉特征的差异度和在图像坐标中的距离、以及各个像素的可靠度，计算从一个像素到另一个像素的能量传播系数以及从另一个像素到所述一个像素的能量传播系数。3.根据权利要求1所述的方法，其中，所述基于所述有方向的能量传播系数来实施置信传播算法以获得像素的更新的视差值的步骤包括：构建有向的图模型，其中图的节点是所述参考图像中的像素，节点之间的有向连接的权值是所述能量传播系数，从而构建传播概率矩阵；基于所述传播概率矩阵，定义随机游走模型，使得该随机游走模型有唯一的稳定分布；根据对角矩阵来计算传播概率矩阵，该对角矩阵的对角元素是随机游走模型的稳定分布；基于所述计算的传播概率矩阵和预估的视差值来获得最终的视差计算函数以获得更新的视差值。4.根据权利要求3所述的方法，其中，用wij表示像素i和像素j之间的初始能量传播系数：这里△c(i，j)＝||I(i)-I(j)||和△g(i，j)＝||i-j||分别代表像素i和像素j之间的视觉特征的差异度和在图像坐标中的距离，λc和λg是两个平衡参数，用ri表示像素i的可靠度的得分，可靠度的得分越高，表示预估的视差值越有可能是正确的，能量传播系数pij为pij＝〈ri,wij〉，其中〈ri,wij〉表示可靠度的得分ri和初始能量传播系数wij的内积。5.根据权利要求3所述的方法，其中，用Π表示一个对角矩阵，该对角矩阵的对角元素是随机游走模型的稳定分布，计算传播概率矩阵Θ＝(Π1/2PΠ-1/2+Π-1/2PΠ1/2)/2，其中P是能量传...

【专利技术属性】
技术研发人员：刘媛，刘振华，刘殿超，师忠超，王刚，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP