视差图像优化方法及装置制造方法及图纸

提供了一种视差图像中的目标边界优化方法和装置。所述方法包括：确定视差图像中与目标边界对应的像素区域；对该像素区域中的像素进行验证，以滤除低置信度的像素；利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。该目标边界优化方法通过滤除低置信度的像素随后有方向地进行填充，能够获得清晰准确的目标边界。

【技术实现步骤摘要】

本专利技术总体涉及图像处理，更具体地，涉及视差图像中的目标边界优化方法和装置。
技术介绍
立体匹配是一种用于获得视差图像的基本技术。立体匹配的基本原理是对通过例如立体相机拍摄的两个或更多个不同视角下同一物体的图像（参考图像和目标图像）进行比较，通过寻找对应像素来计算图像的像素点之间的位置偏差，从而得到视差图像。通过立体匹配获得的视差图像在诸如机器人、监控以及智能车辆等众多领域有着广泛的应用。例如，以智能车辆为例，通过由立体匹配获得的视差图像，可以容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌控车辆的整体行驶状况。而视差图像中清晰而准确的目标边界对于如上所述的目标检测和目标分类是至关重要的。然而，在采用诸如块匹配、传播、半全局匹配等传统的立体匹配算法计算得到的视差图像中，目标边界通常都是模糊的，即前景目标会变胖，这会导致随后的目标检测和目标分类的结果变差。图1（a）和1（b）示出了车辆行驶场景的示例性灰度图以及使用传统的立体匹配算法获得的对应的视差图像。具体的，图1（a）示出了车辆行驶场景的灰度图以及该灰度图中用方框框选的车辆以及竖杆的放大图；图1（b）示出了图1（a）中的灰度图对应的视差图像以及该视差图像中用方框框选的车辆以及竖杆的放大图。可以看出，在采用传统的立体匹配算法获得在视差图像中，作为目标的车辆和竖杆的边界模糊，导致其与目标的实际尺寸相比变胖。针对这一问题，目前研究人员已经提出了一些改善视差图像中的目标边界的方法。其中一种改进方法是在立体匹配过程中不采用像素周围固定形状的区域（例如矩形）作为支持区域，而是根据灰度/彩色信息选择像素周围一个自适应形状作为支持区域，以保证该支持区域不穿过目标边界，由此提高计算得到的视差图像中的目标边界的清晰度。然而，在该方法中，只利用灰度/彩色信息来调整支持区域，因此对于目标与背景灰度/彩色相似的情况效果不佳。
技术实现思路
根据本专利技术的实施例，提供了一种视差图像中的目标边界优化方法，包括：确定视差图像中与目标边界对应的像素区域；对该像素区域中的像素进行验证，以滤除低置信度的像素；利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。根据本专利技术的另一实施例，提供了一种视差图像中的目标边界优化装置，包括：检测部件，用于确定视差图像中与目标边界对应的像素区域；滤除部件，对该像素区域中的像素进行验证，以滤除低置信度的像素；填充部件，利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。根据本专利技术实施例的视差图像中的目标边界优化技术通过滤除低置信度的像素随后有方向地进行填充，能够获得清晰准确的目标边界。附图说明图1（a）和1（b）分别示出了车辆行驶场景的示例性灰度图和使用传统的立体匹配算法获得的对应的视差图像。图2例示了根据本专利技术实施例的视差图像中的目标边界优化方法的示意性流程图。图3例示了在根据本专利技术实施例的目标边界优化方法中考虑灰度（彩色）信息和视差信息两者来确定像素区域的处理过程的流程图。图4例示了与目标边界对应的像素区域的示意图。图5例示了采用本专利技术实施例的目标边界优化方法滤除了视差图像中不可靠的目标边界像素点后的视差图像。图6（a）例示了采用本专利技术实施例的目标边界优化方法滤除了视差图像中不可靠的目标边界像素点后的示意性视差图像，图6（b）和6（c）分别示出了对图6（a）中的视差图像进行像素填充后的示意性视差图像。图7例示了在根据本专利技术实施例的目标边界优化方法中通过逐列扫描查找到的由被滤除像素形成的纵向像素块的示意图。图8例示了采用本专利技术实施例的目标边界优化方法逐列扫描填充视差图之后得到的优化视差图像。图9例示了在根据本专利技术实施例的目标边界优化方法中通过逐行扫描查找到的由被滤除像素形成的横向像素块的示意图。图10例示了采用本专利技术实施例的目标边界优化方法逐行扫描填充视差图之后得到的优化视差图像。图11示出了根据本专利技术实施例的目标边界优化装置的功能配置框图。图12示出了根据本专利技术实施例的目标边界优化系统的总体硬件框图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。首先对本专利技术中涉及的技术术语进行简单的介绍。本领域中公知，视差是指从相隔一定距离的两个点或多个点观察同一个目标所产生的差异。当利用例如双目相机拍摄同一个目标的左右两幅图像时，该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。视差图像则是以左右图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。视差图像中的像素点的坐标可以表示为（x，y，d），其中x为横坐标，y为纵坐标，d为该像素点的视差值。在下文中，将以使用双目立体相机进行拍摄为例进行说明，其中拍摄得到的左图像和右图像中的任一个作为参考图像，另一个作为目标图像。图2例示了根据本专利技术实施例的视差图像中的目标边界优化方法的示意性流程图。如图2所示，在步骤S201，确定视差图像中与目标边界对应的像素区域。在该步骤中，将考虑灰度（彩色）信息和/或视差信息来确定视差图像中与目标边界对应的像素区域。需要说明的是，此处及下文中提到的目标边界、第一边界、第二边界、第三边界并不是目标准确的实际边界，而是利用现有技术检测出来的可能的边界，即根据本专利技术的目标边界优化技术将要进行优化的边界。图3例示了同时考虑灰度（彩色）信息和视差信息两者来确定所述像素区域的处理过程的流程图。如图3所示，在步骤S301中，在视差图像中检测目标的第一边界。在该步骤中可以采用任意边界检测方法在视差图像中检测目标的边界，例如基于梯度的方法、基于图像分割的方法等等，此处不进行详细描述。在步骤S302，在与所述视差图像对应的灰度图像中检测该目标的第二边界。如前所述，视差图像是以左右灰度图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。在该步骤中，采用任意边界检测方法在与视差本文档来自技高网...

【技术保护点】
一种视差图像中的目标边界优化方法，包括：确定视差图像中与目标边界对应的像素区域；对该像素区域中的像素进行验证，以滤除低置信度的像素；利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

【技术特征摘要】
1.一种视差图像中的目标边界优化方法，包括：
确定视差图像中与目标边界对应的像素区域；
对该像素区域中的像素进行验证，以滤除低置信度的像素；
利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于
由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方
式对该像素块中的各像素填充视差值。
2.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界
对应的像素区域包括：
在视差图像中检测目标的第一边界，并将该第一边界周围预定大小的区
域作为所述像素区域。
3.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界
对应的像素区域包括：
在与所述视差图像对应的灰度图像中检测所述目标的第二边界；
并将视差图像中与该第二边界对应的第三边界周围预定大小的区域作为
所述像素区域。
4.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界
对应的像素区域包括：
在视差图像中检测目标的第一边界；
在与所述视差图像对应的灰度图像中检测该目标的第二边界；
将该第一边界周围预定大小的区域以及视差图像中与该第二边界对应的
第三边界周围预定大小的区域作为所述像素区域。
5.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界
对应的像素区域包括：
在视差图像中检测目标的第一边界；
在与所述视差图像对应的灰度图像中检测该目标的第二边界；
将该第一边界周围预定大小的区域与视差图像中与该第二边界对应的第
三边界周围预定大小的区域重叠的区域作为所述像素区域。
6....

【专利技术属性】
技术研发人员：刘振华，刘媛，师忠超，鲁耀杰，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP