视差图空洞填充方法、装置及电子设备及存储介质制造方法及图纸

本申请实施例提供了视差图空洞填充方法、装置，该方法包括：对于每一个待填充像素，确定待填充像素的左侧有效视差像素和待填充像素的右侧有效视差像素；计算待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，基于待填充像素对应的视差值差异量和待填充像素对应的原图像素值差异量，计算待填充像素的视差估计值；将至少部分待填充像素的视差估计值作为待填充像素的视差值。同时考虑了待填充像素的两侧的有效视差像素的视差值的差异与待填充像素的视差值的关联性、两侧的有效视差像素对应的原图像素的像素值的差异与待填充像素的视差值的关联性。避免条纹瑕疵情况和高亮斑点情况，以较短的耗时完成视差图空洞填充。

【技术实现步骤摘要】
视差图空洞填充方法、装置及电子设备及存储介质
本申请涉及图像处理领域，具体涉及视差图空洞填充方法、装置及电子设备存储介质。
技术介绍
视差图是在立体匹配技术中用于表示目标图像与参考图像之间的平移关系的图像。立体匹配技术中的一致性检测、遮挡检测、误匹配检测等步骤均依赖于视差图。由于参考图像里不包含目标图像里所需的全部信息，导致目标图像里出现空洞，视差图中包括与目标图像的空洞相对应的待填充区域。在利用视差图进行立体匹配技术中的依赖视差图进行的步骤之前，需要对视差图中的待填充区域进行视差图空洞填充，即对于视差图中的待填充区域中的每一个待填充像素，重新确定该待填充像素的视差值，以使得该待填充像素具有确定出的视差值。目前，通常采用扫描线填充算法或变尺寸平均值滤波算法进行视差图空洞填充。扫描线填充算法对于待填充区域中的待填充像素，均直接选取左侧的有效视差值和右侧的有效视差值中的最小值，导致产生明显的条纹瑕疵现象。变尺寸平均值滤波算法是通过从大到小的平均值滤波窗口对待填充区域进行迭代地滤波，以确定每一个待填充像素的视差值，一方面，对于每一个待填充像素，均需要经过多次迭代滤波之后才能确定待填充像素的视差值，导致视差图空洞填充的耗时较长。另一方面，在确定的视差值错误的像素处会出现高亮斑点。
技术实现思路
本申请实施例提供一种视差图空洞填充方法、装置、电子设备及电子设备存储介质。本申请实施例提供一种视差图空洞填充方法，包括：对于视差图的待填充区域中的每一个待填充像素，确定所述待填充像素的左侧有效视差像素和所述待填充像素的右侧有效视差像素；对于所述每一个待填充像素，计算所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，其中，所述待填充像素对应的视差值差异量为所述待填充像素的左侧有效视差像素的视差值与所述待填充像素的右侧有效视差像素的视差值之间的差异量，所述待填充像素对应的原图像素值差异量为所述待填充像素的左侧有效视差像素对应的原图像素的像素值与所述待填充像素的右侧有效视差像素对应的原图像素的像素值之间的差异量；对于所述每一个待填充像素，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值；对于至少部分待填充像素中的每一个待填充像素，将所述待填充像素的视差估计值作为所述待填充像素的视差值。本申请实施例提供一种视差图空洞填充装置，包括：有效视差像素确定单元，被配置为对于视差图的待填充区域中的每一个待填充像素，确定所述待填充像素的左侧有效视差像素和所述待填充像素的右侧有效视差像素；差异量计算单元，被配置为对于所述每一个待填充像素，计算所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，其中，所述待填充像素对应的视差值差异量为所述待填充像素的左侧有效视差像素的视差值与所述待填充像素的右侧有效视差像素的视差值之间的差异量，所述待填充像素对应的原图像素值差异量为所述待填充像素的左侧有效视差像素对应的原图像素的像素值与所述待填充像素的右侧有效视差像素对应的原图像素的像素值之间的差异量；视差估计值计算单元，被配置为对于所述每一个待填充像素，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值；视差值填充单元，被配置为对于至少部分待填充像素中的每一个待填充像素，将所述待填充像素的视差估计值作为所述待填充像素的视差值。本申请实施例提供的视差图空洞填充方法、装置，实现了在进行视差图空洞填充时，同时考虑了待填充像素的左侧有效视差像素的视差值和待填充像素的右侧有效视差像素的视差值之间的差异与待填充像素的视差值的关联性、待填充像素的左侧有效视差像素对应的原图像素的像素值和待填充像素的右侧有效视差像素对应的原图像素的像素值之间的差异与待填充像素的视差值的关联性，计算每一个待填充像素的视差估计值，进一步确定每一个待填充像素的视差值。从而，一方面，避免条纹瑕疵情况和高亮斑点情况，另一方面，以较短的耗时完成视差图空洞填充。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1示出了本申请实施例提供的视差图空洞填充方法的流程图；图2示出了本申请实施例提供的视差图空洞填充装置的结构框图；图3示出了本申请实施例提供的电子设备的结构框图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了本申请实施例提供的视差图空洞填充方法的流程图，该方法包括：步骤101，对于视差图的待填充区域中的每一个待填充像素，确定该待填充像素的左侧有效视差像素和右侧有效视差像素。对于视差图中的每一个像素，该像素的像素值为视差值。位于除了待填充区域之外的区域中的像素的视差值为有效的，位于除了待填充区域之外的区域中的像素为有效视差像素。有效视差像素的视差值可以称之为有效视差值，视差图中的有效视差像素的视差值保持不变。对于视差图的中的每一个待填充像素，确定该待填充像素的左侧有效视差像素和该待填充像素的右侧有效视差像素。在本申请中，对于视差图待填充区域中的每一个待填充像素，判断当前扫描的行中，是否存在至少一个位于该待填充像素的左侧的有效视差像素，若是，将当前扫描的行中的位于该待填充像素的左侧的所有有效视差像素中的、与待填充像素的距离最近的有效视差像素作为该待填充像素的左侧有效视差像素。若否，继续在当前扫描的行的下一行进行查找。通过在至少一行中进行查找，查找出该待填充像素的左侧有效视差像素。在首次查找时，当前扫描的行为该待填充像素所在的行。同理，可以查找出每一个待填充像素的右侧有效视差像素。对于每一个待填充像素，在该待填充像素所在的行中，待填充像素的左侧和待填充像素的右侧通常存在至少一个有效视差像素。对于每一个待填充像素，当该待填充像素所在的行中存在至少一个位于该待填充像素的左侧的有效视差像素时，该待填充像素的左侧有效视差像素可以为该待填充像素所在的行中的位于待填充像素的左侧的所有有效视差像素中的、与待填充像素的距离最近的有效视差像素。对于每一个待填充像素，当该待填充像素所在的行中存在至少一个位于该待填充像素的右侧的有效视差像素时，该待填充像素的右侧有效视差像素可以为该待填充像素所在的行中的位于该待填充像素的右侧的所有有效视差像素中的、与待填充像素的距离最近的有效视差像素。步骤102，计算每一个待填充像素对应的视差值差异量和每一个待填充像素对应的原图像素值差异量。在本申请中，对于每本文档来自技高网...

【技术保护点】
1.一种视差图空洞填充方法，其特征在于，所述方法包括：/n对于视差图的待填充区域中的每一个待填充像素，确定所述待填充像素的左侧有效视差像素和所述待填充像素的右侧有效视差像素；/n对于所述每一个待填充像素，计算所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，其中，所述待填充像素对应的视差值差异量为所述待填充像素的左侧有效视差像素的视差值与所述待填充像素的右侧有效视差像素的视差值之间的差异量，所述待填充像素对应的原图像素值差异量为所述待填充像素的左侧有效视差像素对应的原图像素的像素值与所述待填充像素的右侧有效视差像素对应的原图像素的像素值之间的差异量；/n对于所述每一个待填充像素，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值；/n对于至少部分待填充像素中的每一个待填充像素，将所述待填充像素的视差估计值作为所述待填充像素的视差值。/n

【技术特征摘要】
1.一种视差图空洞填充方法，其特征在于，所述方法包括：
对于视差图的待填充区域中的每一个待填充像素，确定所述待填充像素的左侧有效视差像素和所述待填充像素的右侧有效视差像素；
对于所述每一个待填充像素，计算所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，其中，所述待填充像素对应的视差值差异量为所述待填充像素的左侧有效视差像素的视差值与所述待填充像素的右侧有效视差像素的视差值之间的差异量，所述待填充像素对应的原图像素值差异量为所述待填充像素的左侧有效视差像素对应的原图像素的像素值与所述待填充像素的右侧有效视差像素对应的原图像素的像素值之间的差异量；
对于所述每一个待填充像素，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值；
对于至少部分待填充像素中的每一个待填充像素，将所述待填充像素的视差估计值作为所述待填充像素的视差值。


2.根据权利要求1所述的方法，其特征在于，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值包括：
当所述待填充像素对应的视差值差异量小于视差值差异量阈值并且所述待填充像素对应的原图像素值差异量小于原图像素值差异量阈值时，计算所述待填充像素的左侧有效视差像素的视差值和所述待填充像素的右侧有效视差像素的视差值的平均值；
将计算出的平均值作为所述待填充像素的视差估计值。


3.根据权利要求1所述的方法，其特征在于，基于所述待填充像素对应的视差值差异量和所述待填充像素对应的原图像素值差异量，计算所述待填充像素的视差估计值包括：
当所述待填充像素对应的视差值差异量小于视差值差异量阈值并且所述待填充像素对应的原图像素值差异量大于原图像素值差异量阈值时，基于所述待填充像素对应的视差值差异量、所述待填充像素对应的第一距离和所述待填充像素对应的第二距离，计算所述待填充像素的视差估计值，其中，所述第一距离为所述待填充像素与所述左侧有效视差像素或所述右侧有效视差像素之间的距离，所述第二距离为所述待填充像素与所述左侧有效视差像素之间的距离与所述待填充像素与所述右侧有效视差像素之间的距离的和。


4.根据权利要求3所述的方法，其特征在于，基于所述待填充像素对应的视差值差异量、所述待填充像素对应的第一距离和所述待填充像素对应的第二距离，计算所述待填充像素的视差估计值包括：
计算所述待填充像素对应的距离比值，其中，所述待填充像素对应的距离比值为所述待填充像素对应的第一距离与所述待填充像素对应的第二距离的比值；
基于所述待填充像素对应的距离比值和所述待填充像素对应的视差值差异量，计算所述待填充像素的视差估计值。


5.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：王鹏，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11