深度图校正、视频处理、视频重建方法及相关装置制造方法及图纸

深度图校正、视频处理、视频重建方法及相关装置，所述深度图校正方法包括：获取待处理的目标深度图，所述目标深度图基于对应视点的视频帧序列中相应帧时刻的原始纹理图估计得到；获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图；获取参考视频帧序列中的原始纹理图对应的估计深度图；分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图；采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。上述方案能够提高深度图质量，进而可以提高自由视点视频的图像质量。点视频的图像质量。点视频的图像质量。

【技术实现步骤摘要】
深度图校正、视频处理、视频重建方法及相关装置


[0001]本说明书实施例涉及视频处理
，尤其涉及一种深度图校正、视频处理、视频重建方法及相关装置。

技术介绍

[0002]自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
[0003]深度图估计是自由视点视频重建中非常重要的一个步骤，深度图估计的质量将很大程度上决定最终生成的虚拟视点的图像的质量，故如何提高深度图估计的质量成为一个重要的问题。

技术实现思路

[0004]有鉴于此，本说明书实施例提供深度图校正、视频处理、视频重建方法及相关装置，能够提高深度图质量，进而可以提高自由视点视频的图像质量。
[0005]首先，本说明书实施例提供了一种深度图校正方法，包括：
[0006]获取待处理的目标深度图，所述目标深度图基于对应视点的视频帧序列中相应帧时刻的原始纹理图估计得到；
[0007]获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图；
[0008]获取参考视频帧序列中的原始纹理图对应的估计深度图；
[0009]分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图；
[0010]采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。
[0011]可选地，所述分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图，包括：
[0012]分别对所述参考视频帧序列中的原始纹理图中的像素和对应的估计深度图中的像素进行时域中值滤波，得到所述对应视点的背景纹理图和背景深度图。
[0013]可选地，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括以下至少一种：
[0014]获取所述目标深度图中任一像素的深度值，并与对应视点的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值；
[0015]将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应视点的背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。
[0016]可选地，所述参考视频帧序列中原始纹理图中的前景对象少于所述目标深度图对应的原始纹理图中的前景物体。
[0017]可选地，所述目标深度图包括多组，基于多个视点同步采集的原始纹理图估计得到多组目标深度图。
[0018]可选地，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括：
[0019]对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图。
[0020]可选地，所述对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图，包括：
[0021]对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图，并行地进行校正处理，得到多组校正深度图。
[0022]本说明书实施例还提供了一种视频处理方法，包括：
[0023]获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；
[0024]对于所述各视点的视频帧序列中的任一帧时刻的纹理图，分别估计得到对应视点的估计深度图作为待处理的目标深度图；
[0025]获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；
[0026]对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。
[0027]可选地，所述对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图，包括：
[0028]获取所述目标深度图中任一像素的深度值，并与对应的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值；
[0029]将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。
[0030]本说明书实施例还提供了一种自由视点视频重建方法，包括：
[0031]获取多个帧时刻的视频帧，所述视频帧包括同步的多个视点的纹理图和对应视点的深度图，所述深度图为采用对应视点的背景纹理图和背景深度图进行校正处理后得到，所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；
[0032]基于所述视频帧包含的同步的多个视点的纹理图以及对应的深度图，根据虚拟视点的位置信息以及所述视频帧对应的参数数据，重建得到所述虚拟视点的图像。
[0033]本说明书实施例还提供了一种深度图校正装置，包括：
[0034]目标深度图获取单元，适于获取待处理的目标深度图，所述待处理的估计深度图基于对应视点的原始纹理图估计得到；
[0035]参考视图获取单元，适于获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图，以及获取参考视频帧序列中的原始纹理图对应的估计深度图；
[0036]背景视图滤波单元，适于分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和对应的背景深度图；
[0037]校正单元，适于采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。
[0038]本说明书实施例还提供了一种视频处理装置，包括：
[0039]视频获取单元，适于获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；
[0040]目标深度图获取单元，对于所述各视点的视频帧序列中的任一帧时刻的纹理图，适于分别估计得到对应视点的估计深度图作为待处理的目标深度图；
[0041]背景视图获取单元，适于获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；
[0042]校正单元，对所述待处理的估计深度图，适于采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。
[0043]本说明书实施例还提供了一种自由视点视频重建装置，包括：
[0044]视频帧获取单元，适于获取多个帧时刻的视频帧，所述视频帧包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图校正方法，其中，包括：获取待处理的目标深度图，所述目标深度图基于对应视点的视频帧序列中相应帧时刻的原始纹理图估计得到；获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图；获取参考视频帧序列中的原始纹理图对应的估计深度图；分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图；采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。2.根据权利要求1所述的方法，其中，所述分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图，包括：分别对所述参考视频帧序列中的原始纹理图中的像素和对应的估计深度图中的像素进行时域中值滤波，得到所述对应视点的背景纹理图和背景深度图。3.根据权利要求1或2所述的方法，其中，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括以下至少一种：获取所述目标深度图中任一像素的深度值，并与对应视点的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值；将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应视点的背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。4.根据权利要求1或2所述的方法，其中，所述参考视频帧序列中原始纹理图中的前景对象少于所述目标深度图对应的原始纹理图中的前景物体。5.根据权利要求1所述的方法，其中，所述目标深度图包括多组，基于多个视点同步采集的原始纹理图估计得到多组目标深度图。6.根据权利要求5所述的方法，其中，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括：对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图。7.根据权利要求6所述的方法，其中，所述对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图，包括：对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图，并行地进行校正处理，得到多组校正深度图。8.一种视频处理方法，其中，包括：获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；对于所述各视点的视频帧序列中的任一帧时刻的纹理图，分别估计得到对应视点的估计深度图作为待处理的目标深度图；获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域
滤波得到；对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。9.根据权利要求8所述的方法，其中，所述对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图，包括：获取所述目标深度图中任一像素的深度值，并与对应的背景深度图中相应像...

【专利技术属性】
技术研发人员：盛骁杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：