图像处理装置和图像处理方法制造方法及图纸

提供了一种图像处理装置，包括：立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及，第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。

【技术实现步骤摘要】
对于相关申请的交叉引用本申请要求在2013年3月29日提交的日本优先权专利申请JP2013-072669的权益，其整体内容通过引用被并入在此。
本公开涉及。
技术介绍
在计算用于高速立体匹配的视差中简单算法的使用可能引起许多错的视差值的计算。为了处理这一点，在下文中描述了一种技术=YUICHI OHTA, TAKEO KANADA'Stereo byIntra-and Inter-Scanline Search Using Dynamic ProgrammingIEEE TRANSACT1NS ONPATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.PAM1-7, N0.2, MARCH1985 (非专利文献I)。
技术实现思路
非专利文献I描述了一种用于使用对于在外极线(epipolar line)上的视差的平滑改变的约束来计算视差的方法。然而，在如上所述的非专利文献I中描述的现有技术具有有害的效果，诸如水平条纹噪声的出现和在同一水平线上的视差的测量结果的影响等，并且具有诸如大量处理的麻烦。同时，存在一种简单方法，其中，在增强可靠度的同时相互引用右和左视差信息，使得消除错的视差。在该方法中，将通过立体匹配获得的右和左视差值在一对一的基础上彼此作比较，并且合并在一起。因此，当右和左视差之一具有异常值时，所合并的视差值的可靠度降低，并且不可能获得有效的视差值。因为这个原因，难以基于视差值来检测到物体的距离。 因此，期望以高精度来获得合并的视差值，即使要基于立体匹配合并的右和左视差值之一没有正确的值。 根据本公开的一个实施例，提供了一种图像处理装置，包括:立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及，第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。 而且，所述滤波处理单元可以对于所述右和左视差图像的至少一个执行所述滤波处理。 而且，所述滤波处理单元可以对于所述右和左视差图像的每个执行所述滤波处理。 而且，所述滤波处理单元包括中值滤波器。 而且，所述滤波处理单元可以对于所述右和左视差图像之一执行所述滤波处理。所述第一合并单元可以将在已经经过了所述滤波处理的所述视差图像的所述一个中的特定像素的视差值与在未经过所述滤波处理的另一个视差图像中的与所述特定像素对应的像素和多个相邻像素的视差值作比较。 而且，所述第一合并单元可以基于在预定阈值与差之间的比较结果来合并所述视差值，所述差为在所述特定像素的所述视差值和在所述另一个视差图像中的与所述特定像素对应的所述像素和多个相邻像素的所述视差值的每一个之间的差。 而且。所述第一合并单元可以基于用于限定在所述预定阈值和所述视差值的可靠度之间的关系的传递函数来合并所述视差值。 而且，所述图像处理装置可以进一步包括:第二合并单元，被配置为获得具有多个分辨率的所述捕获的图像；多个所述立体匹配单元，多个所述滤波处理单元和多个所述第一合并单元，它们被提供来用于所述多个分辨率的每个，并且被配置为合并其中每一个由所述第一合并单元合并的相应的多个分辨率的所述视差值。 而且，当未获得在具有第一分辨率的所述视差图像之一中的特定像素的视差值时，所述第二合并单元可以基于像素的视差值来合并所述相应的多个分辨率的所述视差值，所述像素与在具有低于所述第一分辨率的第二分辨率的所述视差图像之一中与所述特定像素对应。 而且，所述立体匹配单元可以包括可靠度计算单元，其被配置为计算所述右和左视差图像的所述视差值的可靠度。当所述可靠度可以大于预定阈值并且未获得在具有所述第一分辨率的视差图像中的所述特定像素的所述视差值时，所述第二合并单元将所述视差值看作未知值。 而且，所述第二合并单元可以基于具有第一分辨率的所述视差图像之一的视差值，来重写具有大于所述第一分辨率的第二分辨率的所述视差图像之一的视差值。 而且，当具有所述第一分辨率的所述视差图像的所述特定像素的所述视差值和与所述特定像素相邻的多个像素的视差值在预定范围内时，所述第二合并单元可以基于所述特定像素的所述视差值，来重写在具有所述第二分辨率的所述视差图像中的与所述特定像素对应的像素的所述视差值。 而且，所述第二合并单元可以基于在具有在所述多个分辨率中的最低分辨率的视差图像中的目标区域的视差值来选择所述多个分辨率之一，并且基于具有所选择的分辨率的视差图像来对于所述目标区域的所述视差值执行合并。 而且，根据本公开的一个实施例，提供了一种图像处理方法，包括:基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；对于所述视差图像执行滤波处理；以及，在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。 根据本公开的实施例，有可能以高精度来获得合并视差值，即使要基于立体匹配合并的所述视差值之一没有正确的值。 【附图说明】 结合附图，从下面对实施例的描述中，本专利技术的这些和/或其他方面、特征和优点将变得清楚和更加容易理解，其中: 图1是图示根据本公开的一个实施例的图像处理装置的概要配置的示意图； 图2是图示由投影转换单元和逆投影转换单元进行的处理的示意图； 图3是图示立体匹配单元如何计算视差值的示意图； 图4是图示在后滤波单元是中值滤波器的情况下的处理的示意图； 图5是用于说明合并单元的算法的基本概念的示意图； 图6是图示由合并单元进行的基本处理的示意图； 图7是用于说明在图6中的处理的示意图； 图8是图示根据一实施例的处理的示意图，该处理包括向其增加的后滤波处理； 图9是图示其中仅对于作为参考源的右视差图像执行后滤波处理的示例的示意图； 图10是图示用于通过将视差dR与作为相邻并且包括左参考目标像素的9个像素的视差dL[i]的每一个作比较而确定右目标像素的视差dR的可靠度的方法的示意图； 图11是详细图示在图10中的处理的示意图； 图12是图示一种方法的示意图，通过该方法，从右目标像素的视差值dR获得左参考像素的位置，并且其后，将在dR和与参考像素相邻的视差值dL[i] (i=0,…8)的每一个之间的差加权的同时确定视差值dR的可靠度。 图13是图示物体与右和左相机的位置的示意图，该物体是右和左相机的被摄体； 图14是用于说明基于分辨率的搜索范围的示意图； 图15是图示在图像的分辨率和可推论深度之间的关系的示意图； 图16是图示在图像的分辨率和可推论深度之间的关系的示意图； 图17是图示在图像的分辨率和可推论深度之间的关系的示意图； 图18是图示在第二实施例中使用多个分辨率的情况下的处理的示意图； 图19图示:向在图18中的配置加上的投影转换单元、预滤波单元和逆投影转换单元；以及，作为独立块提供的立体匹配单元和合并单元； 图20是用于说明由合并单元进行本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。

【技术特征摘要】
2013.03.29 JP 2013-0726691.一种图像处理装置，包括: 立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像； 滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及 第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。2.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元对于所述右和左视差图像的至少一个执行所述滤波处理。3.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元对于所述右和左视差图像的每个执行所述滤波处理。4.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元包括中值滤波器。5.根据权利要求1所述的图像处理装置， 其中，所述滤波处 理单元对于所述右和左视差图像之一执行所述滤波处理，并且 其中，所述第一合并单元将在已经经过了所述滤波处理的所述视差图像之一中的特定像素的视差值与在未经过所述滤波处理的另一个视差图像中的与所述特定像素对应的像素和多个相邻像素的视差值作比较。6.根据权利要求5所述的图像处理装置， 其中，所述第一合并单元基于在预定阈值与差之间的比较结果来合并所述视差值，所述差为在所述特定像素的所述视差值和所述另一个视差图像中的与所述特定像素对应的所述像素以及多个相邻像素的所述视差值的每一个之间的差。7.根据权利要求6所述的图像处理装置， 其中，所述第一合并单元基于用于限定在所述预定阈值和所述视差值的可靠度之间的关系的传递函数来合并所述视差值。8.根据权利要求1所述的图像处理装置，进一步包括: 第二合并单元 其被配置为获得具有多个分辨率的所述捕获的图像， 多个所述立体匹配单元，多个所述滤波处理单元和多个所述第一合并单元，它们被提供来用于...

【专利技术属性】
技术研发人员：中谷文香，明官佳宏，大场章男，稻田彻悟，势川博之，
申请(专利权)人：索尼公司，索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP