用于生成深度图的方法和系统技术方案

本发明专利技术公开了一种用于生成与视频剪辑中的帧序列中的帧相对应的深度图的方法和系统。这可以包括为多个帧中的每一个生成单图像深度图，对所述单图像深度图进行定标，以及处理定标后的单图像深度图的时间序列，以生成与视频剪辑中的帧序列中的帧相对应的所述深度图。频剪辑中的帧序列中的帧相对应的所述深度图。频剪辑中的帧序列中的帧相对应的所述深度图。

【技术实现步骤摘要】
用于生成深度图的方法和系统


[0001]本公开涉及与图像中的深度估计(例如，在包括帧的时间序列的视频剪辑帧中的深度估计)有关的方法和系统。

技术介绍

[0002]在数字电影后期制作中，有时需要估计视频帧中可见的一个或多个元素的深度。例如，可能需要基于元素的深度将给定的图像处理技术应用于或不应用于某一元素，或者需要以随深度变化的方式应用图像处理技术。在计算机视觉领域也普遍出现类似的需求。深度可以是指从捕捉图像的相机或人工生成的图像中的虚拟视点到对象(或对象上的点)的真实或隐含距离。
[0003]专利技术人了解用于深度估计的技术。这种技术生成深度图，该深度图包括针对图像中每个像素的估计深度值。这些可以在视觉上表示为颜色或灰度图像，其将深度显示为相应的颜色或灰度级。例如，图1显示了来自图像(a)中的电影剪辑的图像帧以及图像(b)中相应的深度图。在深度图(图像(b))中，每个像素的深度被表示为灰度级，较亮的像素具有比较暗的像素更低的深度，从而白色像素是离拍摄该图像的相机最近的，而黑色像素离拍摄该图像的相机最远。
[0004]一些深度估计技术依赖于双目或立体图像，以使深度能够通过三角测量来确定。但是立体图像通常是不可获得的。还存在单目深度估计技术。这些通常对单个图像(例如，照片或电影的单个帧)执行深度估计。然而，当将单图像深度估计技术应用于包括电影剪辑的帧的时间序列中的每个帧时，在深度图中发生“闪烁”是常见的。闪烁是对从一帧到下一帧发生变化的对象或区域(或者对象或区域中的点)的深度估计的结果。绝对深度中的小变化可能是可以接受的，但错误的相对变化可能更成问题。最引起人注意的是(在没有明显的场景变化或相机移动的情况下)两个对象的相对深度在帧之间发生变化，从而使一个对象在先前位于其后面或前面的另一个对象的前面或后面移动。
[0005]本说明书中描述的系统、设备、方法和途径及其组成部分为专利技术人所知。因此，除非另有说明，否则不应假设所描述的任何这样的系统、设备、方法、途径或它们的组成部分仅仅由于它们包含在说明书中而被引用为现有技术，也不应假设这种系统、设备、方法、途径及组成部分通常是本领域普通技术人员已知的。

技术实现思路

[0006]在第一方面，提供了一种生成与视频剪辑中的帧序列中的帧相对应的深度图的方法。该方法包括：
[0007]针对多个帧中的每个帧生成单图像深度图；
[0008]通过将标度值应用于所述单图像深度图的每个像素，对每个帧的单图像深度图进行定标，以生成针对所述每个帧的定标后的单图像深度图；以及
[0009]处理定标后的单图像深度图的时间序列，以生成与所述视频剪辑中的帧序列中的
帧相对应的所述深度图。
[0010]可以使用包括以下步骤的方法来生成针对单图像深度图的每个像素的相对应的标度值：针对遍布于帧上的多个网格点中的每个网格点：
[0011]使用所述网格点的深度值以及与来自多个时间相关帧的相同的网格点相对应的深度值来生成初始标度值；
[0012]基于所述网格点的初始标度值以及一个或多个相邻网格点的初始标度值来生成所述网格点的最终标度值；以及
[0013]根据网格点的最终标度值来确定要应用于所述单图像深度图的每个像素的对应的标度值。
[0014]使用所述网格点的深度值以及来自多个时间相关帧的相同的网格点的深度值来生成初始标度值的步骤可以包括：通过确定包括所述网格点的区域的平均深度值来确定所述帧中的网格点的深度值；并且确定与多个时间相关帧的相同的网格点相对应的深度值包括：确定所述帧的内容与所述时间相关帧的内容之间的对应关系，使得能够为所述多个时间相关帧中的每个帧确定与所述网格点对应的位置；以及在每个时间相关帧中确定包括所述位置的区域的平均深度值，以针对每个时间相关帧确定与所述网格点相对应的深度值。
[0015]可以使用以下比率来确定每个网格点的初始标度值：一组深度值的中心趋势度量与所述网格点的深度值的比率，其中所述一组深度值至少包括来自所述多个时间相关帧的相同的网格点的深度值。例如，所述中心趋势度量可以是中值。所述所述一组深度值可包括网格点的深度值。
[0016]所述方法可以包括：限定包括所述帧的像素的掩蔽，其中所述单图像深度图被确定为以下中的任意一者或两者：所述单图像深度图基于所述多个帧的光流分析而被确定为不可靠的；或所述单图像深度图被确定为具有大于阈值深度的深度。
[0017]确定所述帧的内容与所述时间相关帧的内容之间的对应关系可以包括：分析在时间上相邻的帧之间的光流，根据所述光流生成所述多个时间相关帧中的每一个的扭曲的深度图从而将与所述网格点相对应的所述位置与所述网格点对准，以及使用所述扭曲的深度图在每个时间相关帧中确定所述位置周围的区域的平均深度值。
[0018]确定所述帧的内容与所述时间相关帧的内容之间的对应关系可以包括：分析在时间上相邻的帧之间的光流，使用所述光流来跟踪所述时间相关帧中的每一个中的所述网格点的位置，以及在每个时间相关帧中确定所述位置周围的区域的平均深度值。
[0019]在一些实施例中，掩蔽中所包括的像素在以下任意一者或两者中被排除：通过确定包括所述网格点的区域的平均深度值来确定所述网格点的深度值，和/或针对多个时间相关帧确定与相同的网格点相对应的深度值。
[0020]在一些实施例中，基于所述网格点的初始标度值以及一个或多个相邻网格点的初始标度值来生成所述网格点的最终标度值的步骤包括：确定所述一个或多个相邻网格点中的每一个的相对贡献以及所述网格点的初始标度值。所述一个或多个相邻网格点的相对贡献在一些实施例中可以使用所述掩蔽来确定。
[0021]在一些实施例中，基于所述网格点的初始标度值以及一个或多个相邻网格点的初始标度值来生成所述网格点的最终标度值包括求解一系列线性方程，所述一系列线性方程代表所述网格点中的每一个的初始标度值以及所述网格点的相邻网格点中的每一个的初
始标度值。
[0022]在一些实施例中，根据网格点的最终标度值来确定要应用于所述单图像深度图的每个像素的标度值可以包括：通过内插为所述网格点之间的每个像素生成标度值。如果有像素在所述网格点之外，则可具有通过外推来确定的标度值。
[0023]在一些实施例中，要应用于所述单图像深度图的每个像素的标度值(根据网格点的最终标度值)可以通过基于相对于所述网格点的位置为每个像素分配标度值来确定。例如，每个网格点周围的区域中的所有像素可以取与该网格点相对应的标度值。
[0024]针对每个帧生成单图像深度图可以使用机器学习技术。例如，其可以包括使用深度学习模型来生成所述单图像深度图。深度学习模型可以是卷积神经网络或其他适宜的模型。
[0025]所述的方法可以重复或继续，以生成视频剪辑的至少一个附加帧的深度图。
[0026]在一些实施例中，深度图可以以比帧更低的分辨率生成。例如，其可以以分数分辨率执行，例如，1/2、1/4分辨率。在其他实施例中，可以以与帧相同的分辨率生成深度图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成与视频剪辑中的帧序列中的帧相对应的深度图的方法，该方法包括：针对多个帧中的每个帧生成单图像深度图；通过将标度值应用于所述单图像深度图的每个像素，对每个帧的单图像深度图进行定标，以生成针对所述每个帧的定标后的单图像深度图，其中，使用包括以下步骤的方法来生成针对单图像深度图的每个像素的标度值：针对遍布于帧上的多个网格点中的每个网格点：使用所述网格点的深度值以及与来自多个时间相关帧的相同的网格点相对应的深度值来生成初始标度值；基于所述网格点的初始标度值以及一个或多个相邻网格点的初始标度值来生成所述网格点的最终标度值；以及根据网格点的最终标度值来确定要应用于所述单图像深度图的每个像素的对应的标度值；以及处理定标后的单图像深度图的时间序列，以生成与所述视频剪辑中的帧序列中的帧相对应的所述单图像深度图。2.根据权利要求1所述的方法，其中，使用所述网格点的深度值以及来自多个时间相关帧的相同的网格点的深度值来生成初始标度值的步骤包括：通过确定包括所述网格点的区域的平均深度值来确定所述帧中的网格点的深度值；并且确定与多个时间相关帧的相同的网格点相对应的深度值包括：确定所述帧的内容与所述时间相关帧的内容之间的对应关系，使得能够为所述多个时间相关帧中的每个帧确定与所述网格点对应的位置；以及在每个时间相关帧中确定包括所述位置的区域的平均深度值，以针对每个时间相关帧确定与所述网格点相对应的深度值。3.根据权利要求2所述的方法，其中，使用以下比率来确定每个网格点的初始标度值：一组深度值的中心趋势度量与所述网格点的深度值的比率，其中所述一组深度值至少包括来自所述多个时间相关帧的相同的网格点的深度值。4.根据权利要求1所述的方法，其中，所述方法包括：限定包括所述帧的像素的掩蔽，其中所述单图像深度图被确定为以下中的任意一者或两者：所述单图像深度图基于所述多个帧的光流分析而被确定为不可靠的；或所述单图像深度图被确定为具有大于阈值深度的深度。5.根据权利要求4所述的方法，其中，以下中的至少一者将所述掩蔽中所包括的像素排除在外：通过确定包括所述网格点的区域的平均深度值来确定所述网格点的深度值，和/或针对多个时间相关帧确定与相同的网格点相对应的深度值。6.根据权利要求5所述的方法，其中，确定所述帧的内容与所述时间相关帧的内容之...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：黑魔法设计私人有限公司，
类型：发明
国别省市：