立体匹配方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种立体匹配方法、装置、计算机设备和存储介质。所述方法包括：对待匹配图像进行网格化处理得到待匹配图像的各图像块，并针对各图像块，根据图像块上各像素点的灰度值以及参考图像上与像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定图像块的第一逆深度值，进而根据各图像块的第一逆深度值，确定各像素点对应的第二逆深度值，根据各像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到待匹配图像的深度图，提高了计算效率。率。率。

【技术实现步骤摘要】
立体匹配方法、装置、计算机设备和存储介质


[0001]本申请涉及通信
，特别是涉及一种立体匹配方法、装置、计算机设备和存储介质。

技术介绍

[0002]立体匹配也称作视差估计(disparity estimation)，或者双目深度估计，是三维场景结构信息获取的研究热点之一，在双目视觉系统应用、三维追踪、三维导航等领域发挥着重要作用。立体匹配的基本原理是从两个视点观察同一视场内的物体，以匹配相应的像素点，从而计算出视差，获得三维信息。
[0003]目前，通常采用稠密立体匹配的方法，即需要经过像素点特征描述、匹配代价计算、匹配代价聚合、视差求解四个步骤。然而，稠密立体匹配方法存在计算效率较低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高立体匹配的计算效率的立体匹配方法、装置、计算机设备和存储介质。
[0005]第一方面，本申请提供了一种立体匹配方法。所述方法包括：
[0006]对待匹配图像进行网格化处理得到所述待匹配图像的各图像块；
[0007]针对各所述图像块，根据所述图像块上各像素点的灰度值以及参考图像上与所述像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定所述图像块的第一逆深度值，其中，所述第一候选匹配点根据当前次逆搜索优化操作后得到逆深度值确定；
[0008]根据各所述图像块的第一逆深度值，确定各所述像素点对应的第二逆深度值；
[0009]根据各所述像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到所述待匹配图像的深度图。
[0010]第二方面，本申请还提供了一种立体匹配装置。所述装置包括：
[0011]第一获得模块，用于对待匹配图像进行网格化处理得到所述待匹配图像的各图像块；
[0012]第一确定模块，用于针对各所述图像块，根据所述图像块上各像素点的灰度值以及参考图像上与所述像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定所述图像块的第一逆深度值，其中，所述第一候选匹配点根据当前次逆搜索优化操作后得到逆深度值确定；
[0013]第二确定模块，用于根据各所述图像块的第一逆深度值，确定各所述像素点对应的第二逆深度值；
[0014]第二获得模块，用于根据各所述像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到所述待匹配图像的深度图。
[0015]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
[0016]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
[0017]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。
[0018]上述立体匹配方法、装置、计算机设备和存储介质，通过对待匹配图像进行网格化处理得到待匹配图像的各图像块，并针对各图像块，根据图像块上各像素点的灰度值以及参考图像上与像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定图像块的第一逆深度值，进而根据各图像块的第一逆深度值，确定各像素点对应的第二逆深度值，最后根据各像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到待匹配图像的深度图。传统的稠密立体匹配方法，由于匹配代价聚合的计算量较高，导致立体匹配的速度和效率下降。而该方法无需进行匹配代价聚合，根据各图像块的第一逆深度值，即可得到待匹配图像的深度图，相对于稠密立体匹配方法，能够提高计算效率。
附图说明
[0019]图1是本申请实施例提供的一种立体匹配方法的流程示意图；
[0020]图2是本申请实施例提供的一种第一逆深度值确定方法的流程示意图；
[0021]图3是本申请实施例提供的一种立体匹配过程示意图；
[0022]图4是本申请实施例提供的一种当前次逆搜索优化操作对应的逆深度值确定方法的流程示意图；
[0023]图5是本申请实施例提供的一种第二参数确定方法的流程示意图；
[0024]图6是本申请实施例提供的一种深度图获得方法的流程示意图；
[0025]图7是本申请实施例提供的一种目标逆深度值确定方法的流程示意图；
[0026]图8是本申请实施例提供的一种立体匹配装置的结构示意图；
[0027]图9为一个实施例中计算机设备的内部结构图。
具体实施方式
[0028]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0029]参照图1，图1是本申请实施例提供的一种立体匹配方法的流程示意图，该方法应用于电子设备，电子设备包括智能手机、平板电脑、便携计算机、穿戴式移动终端等等。该电子设备上设置有第一相机和第二相机，第一相机例如用于采集左图像，第二相机例如用于采集右图像，可以将左图像作为待匹配图像，也可以将右图像作为待匹配图像。下述实施例中以左图像为待匹配图像为例进行介绍。该方法包括以下步骤：
[0030]S101、对待匹配图像进行网格化处理得到待匹配图像的各图像块。
[0031]其中，网格化处理是DIS光流的主要步骤之一，DIS是Dense Inverse Search缩写，
也就是稠密逆搜索光流。对待匹配图像进行网格化处理后得到待匹配图像的各图像块，一个图像块可以指一个patch，对待匹配图像进行网格化处理后得到多个patch。
[0032]S102、针对各图像块，根据图像块上各像素点的灰度值以及参考图像上与像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定图像块的第一逆深度值，其中，第一候选匹配点根据当前次逆搜索优化操作后得到逆深度值确定。
[0033]其中，本步骤中的逆搜索优化模型可以为Gauss_Newton、newton方法、梯度下降、levenberg
‑
marquardt中的任一方法所提供的模型。根据图像块上各像素点的灰度值以及参考图像上与像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，可以确定各patch的第一逆深度值。
[0034]本步骤为DIS光流的逆搜索步骤，传统DIS光流的逆搜索步骤利用的是二维逆搜索模型，在二维空间中计算偏移，二维搜索范围比一维搜索大，所以传统DIS光流的逆搜索步骤的计算效率较低。而本申请实施例中利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定图像块的第一逆深度值，即在逆搜索过程中只需确定第一逆深度值这一个未知量，实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体匹配方法，其特征在于，所述方法包括：对待匹配图像进行网格化处理得到所述待匹配图像的各图像块；针对各所述图像块，根据所述图像块上各像素点的灰度值以及参考图像上与所述像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定所述图像块的第一逆深度值，其中，所述第一候选匹配点根据当前次逆搜索优化操作后得到逆深度值确定；根据各所述图像块的第一逆深度值，确定各所述像素点对应的第二逆深度值；根据各所述像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到所述待匹配图像的深度图。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像块上各像素点的灰度值以及参考图像上与所述像素点对应的第一候选匹配点的灰度值，利用预先构建的逆搜索优化模型进行逆搜索优化操作，以确定所述图像块的第一逆深度值，包括：根据所述图像块上各像素点的灰度值与所述第一候选匹配点的灰度值之间的第一差值的平方和，确定所述当前次逆搜索优化操作结果；若所述当前次逆搜索优化操作结果满足预设的逆搜索优化条件，则利用所述逆搜索优化模型进行逆搜索优化操作，以得到所述图像块的第一逆深度值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述当前次逆搜索优化操作结果不满足预设的逆搜索优化条件，则根据所述上一次逆搜索优化操作得到的逆搜索优化操作结果，确定所述图像块的第一逆深度值。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对各所述图像块，对所述图像块中各像素点的方向导数的平方求和，得到第一参数；根据所述图像块中各像素点的方向导数、所述图像块中各像素点的灰度值、所述第二候选匹配点的灰度值，确定第二参数，其中，所述第二候选匹配点为根据所述上一次逆搜索优化操作得到的逆深度值所确定的所述参考图像上的像素点；根据所述第一参数、所述第二参数以及所述上一次逆搜索优化操作得到的逆深度值，得到所述当前次逆搜索优化操作的逆深度值。5.根据权利要求4所述的方法，其特征在于，所述根据所述图像块中各像素点的方向导数、所述图像块中各像素点的灰度值、所述第二候选匹配点的灰度值，确定第二参数，包括：确定所述图像块中各像素点的方向导数的平方和；确定所述图像块中各像素点的灰度值与对应的所述第二候选匹配点的灰度值的第二差值；获取所述图像块中各像素点的方向导数与对应的第二差值的第一乘积结果，并对所述图像块中各像素点对应的第一乘积结果求和得到所述第二参数。6.根据权利要求1所述的方法，其特征在于，所述根据各所述像素点对应的第二逆深度值，利用预先构建的能量最小化模型得到所述待匹配图像的深度图，包括：根据...

【专利技术属性】
技术研发人员：孟强，谢朝毅，谢亮，谭明朗，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：