本申请公开了一种匹配代价计算方法和装置、以及视差值计算方法和设备。该匹配代价计算方法包括：在参考图像中确定用于参考像素的参考代表性像素集合，参考代表性像素集合包括参考像素、和处于参考像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素；在目标图像中确定用于目标像素的目标代表性像素集合，目标代表性像素集合包括目标像素、和处于目标像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素；以及根据参考代表性像素集合中每一个像素的像素值、和目标代表性像素集合中每一个像素的像素值，来计算参考像素与目标像素之间的匹配代价。因此，可以得到可区分的匹配代价，进而得到正确的视差信息。
【技术实现步骤摘要】
本申请一般地涉及数字图像处理领域，更具体地，本申请涉及一种匹配代价计算 方法和装置、以及视差值计算方法和设备。
技术介绍
立体匹配方法在诸如机器人、监控以及智能车辆等众多领域中有着广泛的应用。 通过立体匹配方法得到的视差信息（或称之为，深度信息）可以用来估计图像捕捉设备和 物体之间的相对距离。例如，以智能车辆为例，通过由立体匹配方法获得的视差信息，可以 容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能 够全面掌控车辆的整体行驶状况。 立体匹配方法的基本原理是对通过图像捕捉设备（例如，立体相机）所拍摄的两 个不同视角下（当双目相机时）或更多个不同视角下（当多目相机时）同一物体的图像进 行比较，通过寻找对应像素来计算图像的像素点之间的位置偏差，从而得到视差信息，并依 据该视差信息来绘制视差图像。 常用的立体匹配方法包括局部立体匹配方法（例如，块匹配方法）、全局立体匹配 方法（例如，动态规划方法）、和半全局立体匹配方法（例如，半全局匹配（SGM)方法），其 通常都包含下面的四个步骤或其中的几步：匹配代价计算、支持求和、视差计算/优化、和 视差改进，其中匹配代价计算是这几个步骤中最为关键的步骤。 通常来说，目前的匹配代价计算方法，对于待计算匹配代价的像素，选择与其具有 相近属性或处于其固定位置的相邻像素，并且根据待计算匹配代价的像素及其相邻像素所 包括的像素信息，来计算多视角图像的对应像素之间的匹配代价。 然而，由于在选择相邻像素的上述过程中没有充分考虑所选择的像素在相关图像 中是否具有代表性信息，所以很可能会得到不可区分的匹配代价，进而在后续步骤中得到 错误的视差信息。
技术实现思路
为了解决上述技术问题，根据本申请的一个方面，提供了一种匹配代价计算方法， 所述方法用于计算参考图像中的参考像素与目标图像中的目标像素之间的匹配代价，所述 参考图像和所述目标图像属于一个原始图像对，并且所述方法包括：在所述参考图像中确 定用于所述参考像素的参考代表性像素集合，所述参考代表性像素集合包括所述参考像 素、和处于所述参考像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素； 在所述目标图像中确定用于所述目标像素的目标代表性像素集合，所述目标代表性像素集 合包括所述目标像素、和处于所述目标像素的所述第一预定邻域中的并且其显著程度大于 所述阈值的至少一个像素；以及根据所述参考代表性像素集合中每一个像素的像素值、和 所述目标代表性像素集合中每一个像素的像素值，来计算所述参考像素与所述目标像素之 间的匹配代价。 此外，根据本申请的另一方面，提供了一种视差值计算方法，所述方法用于计算参 考图像中的参考像素与目标图像中的匹配像素之间的视差值，所述参考图像和所述目标图 像属于一个原始图像对，并且所述方法包括：确定多个目标像素；针对每一个目标像素，分 别计算参考支持像素集合中每一个第一像素和与其对应的目标支持像素集合中对应第二 像素之间的匹配代价，所述参考支持像素集合包括在所述参考图像中处于所述参考像素的 第二预定邻域中的至少一个像素，并且所述目标支持像素集合包括在所述目标图像中处于 所述目标像素的所述第二预定邻域中的至少一个像素；针对每一个目标像素，通过对所计 算出的所有匹配代价进行求和来获得所述参考像素与所述目标像素之间的总体匹配代价； 以及至少根据所述参考像素与所述多个目标像素之间的多个总体匹配代价来在所述多个 目标像素中确定所述匹配像素，从而确定所述参考像素与所述匹配像素之间的视差值，其 中，分别计算参考支持像素集合中每一个第一像素和与其对应的目标支持像素集合中对应 第二像素之间的匹配代价包括：在所述参考图像中确定用于所述第一像素的第一代表性像 素集合，所述第一代表性像素集合包括所述第一像素、和处于所述第一像素的第一预定邻 域中的并且其显著程度大于阈值的至少一个像素；在所述目标图像中确定用于所述第二像 素的第二代表性像素集合，所述第二代表性像素集合包括所述第二像素、和处于所述第二 像素的所述第一预定邻域中的并且其显著程度大于所述阈值的至少一个像素；以及根据所 述第一代表性像素集合中每一个像素的像素值、和所述第二代表性像素集合中每一个像素 的像素值，来计算所述第一像素与所述第二像素之间的匹配代价。 根据本申请的又一方面，提供了一种匹配代价计算装置，所述装置用于计算参考 图像中的参考像素与目标图像中的目标像素之间的匹配代价，所述参考图像和所述目标图 像属于一个原始图像对，并且所述装置包括：参考集合确定单元，用于在所述参考图像中 确定用于所述参考像素的参考代表性像素集合，所述参考代表性像素集合包括所述参考像 素、和处于所述参考像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素； 目标集合确定单元，用于在所述目标图像中确定用于所述目标像素的目标代表性像素集 合，所述目标代表性像素集合包括所述目标像素、和处于所述目标像素的所述第一预定邻 域中的并且其显著程度大于所述阈值的至少一个像素；以及匹配代价计算单元，用于根据 所述参考代表性像素集合中每一个像素的像素值、和所述目标代表性像素集合中每一个像 素的像素值，来计算所述参考像素与所述目标像素之间的匹配代价。 根据本申请的又一方面，提供了一种视差值计算设备，所述设备用于计算参考图 像中的参考像素与目标图像中的匹配像素之间的视差值，所述参考图像和所述目标图像属 于一个原始图像对，并且所述设备包括：目标像素确定装置，用于确定多个目标像素；匹配 代价计算装置，用于针对每一个目标像素，分别计算参考支持像素集合中每一个第一像素 和与其对应的目标支持像素集合中对应第二像素之间的匹配代价，所述参考支持像素集合 包括在所述参考图像中处于所述参考像素的第二预定邻域中的至少一个像素，并且所述目 标支持像素集合包括在所述目标图像中处于所述目标像素的所述第二预定邻域中的至少 一个像素；总体代价获得装置，用于针对每一个目标像素，通过对所计算出的所有匹配代价 进行求和来获得所述参考像素与所述目标像素之间的总体匹配代价；以及视差值计算装 置，用于至少根据所述参考像素与所述多个目标像素之间的多个总体匹配代价来在所述多 个目标像素中确定所述匹配像素，从而确定所述参考像素与所述匹配像素之间的视差值， 其中，所述匹配代价计算装置通过以下操作来分别计算参考支持像素集合中每一个第一像 素和与其对应的目标支持像素集合中对应第二像素之间的匹配代价：在所述参考图像中 确定用于所述第一像素的第一代表性像素集合，所述第一代表性像素集合包括所述第一像 素、和处于所述第一像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素； 在所述目标图像中确定用于所述第二像素的第二代表性像素集合，所述第二代表性像素集 合包括所述第二像素、和处于所述第二像素的所述第一预定邻域中的并且其显著程度大于 所述阈值的至少一个像素；以及根据所述第一代表性像素集合中每一个像素的像素值、和 所述第二代表性像素集合中每一个像素的像素值，来计算所述第一像素与所述第二像素之 间的匹配代价。 与现有技术相比，本申请的实施例提供了一种匹配代价计算方法和装置，其中将 支撑结构信息的概念引入到匹配代价计算过程本文档来自技高网...
【技术保护点】
一种匹配代价计算方法，其特征在于，所述方法用于计算参考图像中的参考像素与目标图像中的目标像素之间的匹配代价，所述参考图像和所述目标图像属于一个原始图像对，并且所述方法包括：在所述参考图像中确定用于所述参考像素的参考代表性像素集合，所述参考代表性像素集合包括所述参考像素、和处于所述参考像素的第一预定邻域中的并且其显著程度大于阈值的至少一个像素；在所述目标图像中确定用于所述目标像素的目标代表性像素集合，所述目标代表性像素集合包括所述目标像素、和处于所述目标像素的所述第一预定邻域中的并且其显著程度大于所述阈值的至少一个像素；以及根据所述参考代表性像素集合中每一个像素的像素值、和所述目标代表性像素集合中每一个像素的像素值，来计算所述参考像素与所述目标像素之间的匹配代价。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘振华，刘媛，师忠超，刘殿超，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。