用于视频数据的帧率上转换的系统和方法技术方案

本公开的实施例提供了用于视频数据的帧率上转换的系统和方法。所述方法可包括确定目标帧相对于多个参考帧的运动矢量集。目标帧将被生成并被插入到图像帧序列中。所述方法还可包括对运动矢量集执行运动矢量分类以生成目标帧的目标对象图。所述方法可另外包括基于运动矢量集将目标对象图投影到多个参考帧上以生成多个参考对象图。所述方法可另外包括基于运动矢量集、目标对象图和多个参考对象图来检测目标帧中的遮挡区域。测目标帧中的遮挡区域。测目标帧中的遮挡区域。

【技术实现步骤摘要】
用于视频数据的帧率上转换的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年08月21日提交的题为“用于帧率上转换的系统和装置”的美国申请No.63/068,984的优先权，其全部内容通过引用并入本文。


[0003]本公开涉及视频处理领域，并且更具体地涉及用于使用多个参考帧和可变块尺寸来执行视频数据的帧率上转换(FRUC)的方法和系统。

技术介绍

[0004]FRUC可应用于通过将具有较低帧率的输入视频转换为具有较高帧率的输出视频来提高视频数据的视觉质量。例如，具有30帧每秒(fps)的输入视频可被转换为具有60fps、120fps或另外更高帧率的输出视频。与输入视频相比，具有更高帧率的输出视频可为用户提供更平滑的运动和更愉快的观看体验。
[0005]FRUC也可在低带宽应用中使用。例如，视频中的一些帧可在发送器侧的编码过程中被丢弃，使得可以以较低的带宽发送视频。之后，可在接收器侧的解码过程期间通过插值来重新生成被丢弃的帧。例如，可通过在发送器侧的编码过程中每隔一帧丢弃一帧来将视频的帧率减半，然后在接收器侧，可使用FRUC通过帧插值来恢复帧率。
[0006]现有的FRUC方法可主要分类为三类。第一类方法在不考虑复杂的运动模型的情况下使用多个接收到的视频帧来插值出额外的帧。帧重复方法和帧平均方法是该类的两个典型示例。在帧重复方法中，通过简单地重复或复制接收到的帧来增加帧率。在帧平均方法中，通过对多个接收到的帧的加权平均来插值出额外的帧。考虑到这些方法的简单处理，这些方法的缺点也是明显的，这些缺点包括当视频内容包含具有复杂运动的运动对象时导致运动对象的运动抖动或模糊。第二类(所谓的运动补偿FRUC(MC
‑
FRUC))更先进，这是因为它利用运动信息来执行运动补偿(MC)以生成插值帧。第三类利用神经网络。例如，通过神经网络和深度学习，可训练和开发合成网络以生成插值帧。也可将使用常规运动估计或基于深度学习的方法导出的运动场信息馈送到网络中以用于帧插值。
[0007]在现有的FRUC方法中，当一个块被检测为“被覆盖和未被覆盖”时，不存在合适的参考帧来执行运动补偿，这是因为在先前参考帧和后续参考帧中都不存在正确的参考块/像素。尽管孔填充方法在一些情况下可能有帮助，但是这种情况的合适处理仍然是FRUC的最具挑战性的部分。
[0008]本公开提供使用多个参考帧和可变块尺寸的MC
‑
FRUC的改进方法和系统。

技术实现思路

[0009]本公开的实施例提供了一种用于对包括图像帧序列的视频数据执行帧率上转换的方法。所述方法可包括由视频处理器确定目标帧相对于多个参考帧的运动矢量集。所述目标帧将被生成并被插入到所述图像帧序列中。所述方法还可包括由所述视频处理器对所
述运动矢量集执行运动矢量分类以生成针对所述目标帧的目标对象图。所述方法可另外包括由所述视频处理器基于所述运动矢量集将所述目标对象图投影到所述多个参考帧上以生成多个参考对象图。所述方法可另外包括由所述视频处理器基于所述运动矢量集、所述目标对象图和所述多个参考对象图来检测所述目标帧中的遮挡区域。
[0010]本公开的实施例还提供了一种用于对包括图像帧序列的视频数据执行帧率上转换的系统。所述系统可包括被配置为存储所述图像帧序列的存储器。所述系统还可包括视频处理器，被配置为确定目标帧相对于多个参考帧的运动矢量集。所述目标帧将被生成并被插入到所述图像帧序列中。所述视频处理器还可被配置为对所述运动矢量集执行运动矢量分类以生成针对所述目标帧的目标对象图。所述视频处理器可另外被配置为基于所述运动矢量集将所述目标对象图投影到所述多个参考帧上以生成多个参考对象图。所述视频处理器可另外被配置为基于所述运动矢量集、所述目标对象图和所述多个参考对象图来检测所述目标帧中的遮挡区域。
[0011]本专利技术的实施例还提供一种被配置为存储指令的非暂态计算机可读存储介质，所述指令在由视频处理器执行时使得所述视频处理器执行用于对包括图像帧序列的视频数据执行帧率上转换的过程。所述视频处理可包括确定目标帧相对于多个参考帧的运动矢量集。所述目标帧将被生成并被插入到所述图像帧序列中。所述视频处理还可包括对所述运动矢量集执行运动矢量分类以生成针对所述目标帧的目标对象图。所述视频处理可另外包括基于所述运动矢量集将所述目标对象图投影到所述多个参考帧上以生成多个参考对象图。所述视频处理可另外包括基于所述运动矢量集、所述目标对象图和所述多个参考对象图来检测所述目标帧中的遮挡区域。
[0012]应当理解，前述一般描述和以下详细描述都仅是示例性和说明性的，并不限制如所要求保护的本专利技术。
附图说明
[0013]图1示出根据本公开的实施例的用于执行视频数据的FRUC的示例性系统的框图。
[0014]图2A示出根据本公开的实施例的用于执行视频数据的FRUC的示例性过程的框图。
[0015]图2B是示出根据本公开的实施例的基于多个参考帧的目标帧的插值过程的图形表示。
[0016]图3是根据本公开的实施例的用于执行视频数据的FRUC的示例性方法的流程图。
[0017]图4是根据本公开的实施例的用于确定目标帧相对于多个参考帧的运动矢量集的示例性方法的流程图。
[0018]图5是根据本公开的实施例的用于生成针对目标帧的目标对象图的示例性方法的流程图。
[0019]图6A至图6B是根据本公开的实施例的用于对目标块执行遮挡检测的示例性方法的流程图。
[0020]图7是示出根据本公开的实施例的双向匹配运动估计过程的图形表示。
[0021]图8A是示出根据本公开的实施例的前向运动估计过程的图形表示。
[0022]图8B是示出根据本公开的实施例的后向运动估计过程的图形表示。
[0023]图9是示出根据本公开的实施例的示例性运动矢量缩放过程的图形表示。
[0024]图10A是示出根据本公开的实施例的用于生成示例性目标对象图的过程的图形表示。
[0025]图10B至图10D是示出根据本公开的实施例的用于基于图10A的目标对象图生成示例性参考对象图的过程的图形表示。
[0026]图10E是示出根据本公开的实施例的用于基于图10A的目标对象图确定针对目标块的示例性遮挡检测结果的过程的图形表示。
[0027]图11A是示出根据本公开的实施例的用于确定针对目标块的第一遮挡检测结果的过程的图形表示。
[0028]图11B是示出根据本公开的实施例的用于确定针对图11A的目标块的第二遮挡检测结果的过程的图形表示。
具体实施方式
[0029]现在将详细参照示例性实施例，其示例在附图中示出。在任何可能的情况下，在整个附图中将使用相同的附图标记来指代相同或相似的部分。
[0030]MC
‑
FRUC技术可包括使用运动对象的运动补偿将额外的帧插入到视频中。可利用运动对象的运动信息来执行运动补偿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的用于对包括图像帧序列的视频数据执行帧率上转换的方法，包括：由视频处理器确定目标帧相对于多个参考帧的运动矢量集，其中所述目标帧将被生成并被插入到所述图像帧序列中；由所述视频处理器对所述运动矢量集执行运动矢量分类以生成针对所述目标帧的目标对象图；由所述视频处理器基于所述运动矢量集将所述目标对象图投影到所述多个参考帧上以生成多个参考对象图；并且由所述视频处理器基于所述运动矢量集、所述目标对象图和所述多个参考对象图来检测所述目标帧中的遮挡区域。2.根据权利要求1所述的方法，其中对所述运动矢量集执行运动矢量分类以生成针对所述目标帧的目标对象图，包括：对所述运动矢量集执行运动矢量分类以检测所述目标帧中的一个或更多个对象；生成所述目标对象图以包括所述一个或更多个对象；并且确定所述目标对象图中的所述一个或更多个对象的一个或更多个相对深度值。3.根据权利要求2所述的方法，其中对所述运动矢量集执行运动矢量分类以检测所述目标帧中的一个或更多个对象，包括：将所述运动矢量集分类为一个或更多个运动矢量组；并且对于每个运动矢量组，确定与该运动矢量组相应的对象。4.根据权利要求3所述的方法，其中确定与该运动矢量组相应的对象，包括：确定所述目标帧的一个或更多个目标块，其中所述一个或更多个目标块中的每个目标块具有被分类到该运动矢量组中的各自运动矢量；并且将所述对象确定为所述目标帧中的包括所述一个或更多个目标块的图像区域。5.根据权利要求1所述的方法，其中所述目标帧包括多个目标块，并且将所述目标对象图投影到所述多个参考帧上以生成多个参考对象图，包括：对于每个参考帧，分别基于所述多个目标块相对于该参考帧的运动矢量将所述多个目标块投影到该参考帧上以生成多个块投影；并且基于所述目标对象图对所述多个块投影进行组合以生成针对该参考帧的参考对象图。6.根据权利要求5所述的方法，其中所述多个目标块中的每个目标块具有可变块尺寸。7.根据权利要求5所述的方法，其中该参考帧被划分为多个参考块，并且对所述多个块投影进行组合以生成针对该参考帧的参考对象图，包括：对于其中两个或更多个目标块的两个或更多个块投影重叠的参考块，确定与所述两个或更多个目标块相关联的相对深度值集；确定所述相对深度值集中的最小相对深度值；从所述两个或更多个块投影中识别与具有所述最小相对深度值的目标块相关联的块投影；确定该参考块被与具有所述最小相对深度值的目标块相关联的对象覆盖，使得在该参考对象图中识别该对象；并且
将该参考块的相对深度值确定为该对象的相对深度值。8.根据权利要求1所述的方法，其中检测所述目标帧中的遮挡区域，包括：从所述目标帧中的多个目标块中检测被遮挡的目标块的集合。9.根据权利要求8所述的方法，其中所述遮挡区域包括被覆盖的遮挡区域、未被覆盖的遮挡区域或组合的遮挡区域，其中所述被覆盖的遮挡区域包括具有被覆盖的遮挡状态的一个或更多个被遮挡的目标块，所述未被覆盖的遮挡区域包括具有未被覆盖的遮挡状态的一个或更多个被遮挡的目标块，所述组合的遮挡区域包括具有组合的遮挡状态的一个或更多个被遮挡的目标块。10.根据权利要求8所述的方法，其中所述多个参考帧包括在所述目标帧之前的第一先前帧和在所述目标帧之后的第一后续帧；所述多个参考对象图包括针对所述第一先前帧的第一先前对象图和针对所述第一后续帧的第一后续对象图；并且检测被遮挡的目标块的集合，包括：对于所述目标帧中的每个目标块，确定针对该目标块的第一遮挡检测结果，其中所述第一遮挡检测结果指示该目标块是否是相对于所述第一先前帧和所述第一后续帧的被遮挡的目标块。11.根据权利要求10所述的方法，其中确定针对该目标块的第一遮挡检测结果，包括：基于该目标块相对于所述第一先前帧的运动矢量，确定所述第一先前帧中的与该目标块相应的第一先前块；基于所述第一先前对象图确定所述第一先前块的相对深度值；基于该目标块相对于所述第一后续帧的运动矢量，确定所述第一后续帧中的与该目标块相应的第一后续块；基于所述第一后续对象图确定所述第一后续块的相对深度值；并且基于该目标块的相对深度值、所述第一先前块的相对深度值和所述第一后续块的相对深度...

【专利技术属性】
技术研发人员：陈漪纹，王祥林，叶水明，金国鑫，范澍斐，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：