经由置信度加权运动估计的视频修补制造技术

本公开的实施例涉及经由置信度加权运动估计的视频修补。某些方面涉及经由置信度加权运动估计的视频修补。例如，视频编辑器在一个或多个视频帧中访问具有待修改的目标区域的视频内容。视频编辑器计算针对目标区域的边界的运动。视频编辑器从边界运动中内插目标区域内的目标像素的目标运动。在内插中，被分配给边界像素的置信度值控制这些像素的运动如何有助于所内插的目标运动。基于关于特定边界像素的前向运动与反向运动之间的差异、包括特定边界像素的区域中的纹理或其组合来计算置信度值。视频编辑器通过更新目标像素的颜色数据来修改视频中的目标区域以对应于从边界运动内插的目标运动。

【技术实现步骤摘要】
经由置信度加权运动估计的视频修补相关申请的交叉引用本公开要求于2018年10月12日提交的美国临时申请号62/745,260的优先权，该临时申请通过引用整体并入于此。
本公开总体上涉及用于视频回放系统的视频内容的自动处理。更具体地，但不作为限制，本公开涉及使用一组视频帧的目标区域内的像素运动的置信度加权估计来执行关于目标区域的视频修补。
技术介绍
某些视频编辑程序包括用于将目标区域中的内容替换为其他期望内容(诸如用户提供的内容或从视频中的其他区域复制或得出的内容)的特征。作为一个示例，视频修补方法被用来使用视频的剩余部分用内容来填充视频中的用户指定的时空洞。视频修补被用于不同的应用，诸如但不限于不需要的对象移除、视频稳定、广播视频中的徽标或水印移除、以及损坏的电影内容的恢复等。视频修补的一个示例涉及手动编辑每个视频帧。例如，视频编辑器被用来从缺少要移除的对象的场景的“干净”版本手动复制内容，并且用该对象来编辑场景的版本以将对象替换为来自“干净”场景的内容。然而，这种技术依赖于场景的“干净”版本的可用性。如果场景的“干净”版本不可用，则必须使用例如诸如等图像编辑工具手动地编辑每个帧。多个视频帧的手动编辑可能是乏味的并且可能缺乏一致性，诸如当对第一帧的手动编辑和对另一帧的单独的手动编辑基于用户产生的错误、用户的主观判断等而不同时。视频修补技术的另一示例是平面跟踪。使用平面跟踪的软件工具将跟踪源内容的矩形和待移除或待修改的内容的区域。该软件将源内容放置在待移除或待修改的对象上。然而，平面跟踪要求背景内容(例如，待填充的孔或待替换的对象后面的内容)是平面的。在没有这样的平面内容的情况下，所得到的编辑视频可能包括被移除的对象的伪像或者以其他方式缺少期望质量。因此，现有解决方案可能由于诸如(但不限于)上述原因而存在缺点。
技术实现思路
某些方面涉及使用一组视频帧的目标区域内的像素运动的置信度加权估计来执行关于跨视频帧的目标区域的修补。例如，视频编辑器访问具有注释的视频内容，该注释标识所描绘的场景的一个或多个视频帧中的待修改的目标区域。视频编辑器计算目标区域的边界的运动。视频编辑器还向边界像素分配置信度值。基于关于特定边界像素的前向运动与反向运动之间的差异、包括特定边界像素的区域中的纹理或其组合来计算特定置信度值。视频编辑器从边界运动中内插目标区域内的目标像素的目标运动。在内插中，所分配的置信度值控制针对不同边界像素的不同运动对所内插的目标运动的贡献。视频编辑器通过更新目标像素的颜色数据以对应于从边界运动内插的目标运动来修改视频中的目标区域。附图说明当参考附图阅读以下详细描述时，将更好地理解本公开的特征、方面和优点。该专利或申请文件包含至少一幅彩色附图。具有(多张)彩色附图的本专利或专利申请出版物的副本将在请求和支付必要费用后由主管局提供。图1描绘了根据本公开的某些方面的用于经由置信度加权运动估计的视频修补的视频处理环境的示例。图2描绘了根据本公开的某些方面的使用视频修补来修改将由图1的视频处理环境移除的视频帧的示例。图3描绘了根据本公开的某些方面的具有目标区域和相关联的边界像素的视频帧的示例，可以利用图1中描绘的视频处理环境来编辑视频帧。图4描绘了根据本公开的某些方面的根据图3中的视频帧计算的运动场的示例。图5描绘了根据本公开的某些方面的从图4的运动场内插运动并且因此更新来自图3的视频帧中的目标区域的像素的示例。图6描绘了根据本公开的某些方面的用于使用一组视频帧的目标区域内的像素运动的置信度加权估计来执行关于跨视频帧的目标区域的修补的过程的示例。图7描绘了用于实现本公开的一个或多个方面的计算系统的示例。具体实施方式某些方面涉及使用沿着一组视频帧中的目标区域的边界的像素运动的置信度加权估计来执行关于目标区域的视频修补。例如，视频编辑器通过使用视频中描绘的场景的计算的运动来标识待复制到目标区域中的内容，来帮助修改视频的目标区域，目标区域包括描绘待移除或待修改的对象的视频帧的部分。这种场景运动的计算包括在修改目标区域之前基于场景中的其他像素的运动来估计场景的运动在目标区域内将是什么，诸如定义目标区域的边界的边界像素的运动。通过实现本文中描述的某些方面，视频编辑器通过向某些像素分配置信度值来改进该运动估计的准确度，其中置信度值指示关于这些像素的运动计算的可靠性。在由视频编辑器执行的运动估计操作中，具有更可靠的运动计算的像素在估计目标区域内的运动方面具有更大的影响，反之亦然。提供以下非限制性示例以介绍某些方面。在该示例中，视频编辑器访问描绘场景的一组视频帧，诸如由用户用视频编辑器修改的输入视频。例如，所描绘的场景包括正在进行的足球比赛以及通过在相机前行走而破坏足球比赛的观看的观众。该组视频帧包括(或以其他方式与其相关联)注释，该注释标识包括场景的一个或多个视频帧中的待修改的目标区域。例如，视频编辑器可以接收标识一个或多个视频帧中的观众对象的用户输入。视频编辑器可以使用这些输入来注释构成场景的该组视频帧中的观众对象。继续该示例，视频编辑器计算针对场景内的目标区域的边界的边界运动。例如，边界包括一组视频帧中与目标区域(例如，“观众”对象)相邻的边界像素。边界运动指示当视频帧进展时沿着边界的视频内容如何在场景内移动。如果场景描绘了观众背后的足球比赛，则构成足球比赛的各种对象(例如，场地、球员等)可以在场景内移动，这是由于对象本身在被捕获时的移动(例如，在场地中跑动的球员)、相机的移动(例如，由于相机从场地的一端平移到另一端)、改变相机的变焦或其某种组合。视频编辑器还向各种边界像素分配置信度值。特定置信度值可以指示针对特定边界像素计算的运动是否足够可靠以估计目标区域内的运动。视频编辑器可以基于例如关于特定边界像素的前向运动与反向运动之间的差异、包括特定边界像素的区域中的纹理或两者来计算置信度。为了在该示例中移除“观众”对象，视频编辑器估计目标区域内的运动。估计运动包括从针对边界像素计算的边界运动内插目标区域内的目标运动。因此，目标区域内的估计运动是针对边界像素的运动的组合计算的函数。特定边界像素的特定置信度值控制该边界像素的运动对内插目标运动的贡献。例如，如果边界像素的计算的运动是不可靠的，则与该边界像素相关联的置信度值将减小该边界像素的计算的运动在针对边界像素的运动的组合计算的函数内的影响。视频编辑器使用内插运动来更新目标区域内的目标像素的颜色数据。作为简化示例，如果特定“足球运动员”对象在场景中移动并且在“观众”对象破坏场景之前和之后可见，则特定“足球运动员”对象的运动遵循从其中“足球运动员”对象可见的第一帧到其中“足球运动员”对象被“观众”对象遮挡的第二帧之间的路径，其中第一帧可以在第二帧之前或之后发生。目标区域内的内插的运动允许视频编辑器估计“足球运动员”对象在目标区域内的位置，即，从第一帧到其在第二帧中的预期位置跟踪描绘足球运动员的像素。因此，视频编辑器可以从第一帧复制描绘足本文档来自技高网...

【技术保护点】
1.一种一个或多个处理设备执行操作的方法，包括：/n访问包括第一视频帧和第二视频帧的场景，被访问的所述场景具有标识包括所述场景的一个或多个视频帧中的待修改的目标区域的注释；/n计算针对所述场景内的所述目标区域的边界的边界运动，其中所述边界包括所述第一视频帧和所述第二视频帧中与所述目标区域相邻的边界像素；/n分别向所述边界像素分配置信度值，其中特定置信度值至少部分地基于以下中的一个或多个：(i)关于特定边界像素的前向运动与反向运动之间的差异，以及(ii)包括所述特定边界像素的区域中的纹理；/n从所述边界运动内插所述目标区域内的目标像素的目标运动，其中所述特定边界像素的所述特定置信度值控制所述特定边界像素的特定运动对从所述边界运动内插的所述目标运动的贡献；以及/n更新所述目标像素的颜色数据以对应于从所述边界运动内插的所述目标运动。/n

【技术特征摘要】
20181012 US 62/745,260;20190409 US 16/378,9061.一种一个或多个处理设备执行操作的方法，包括：
访问包括第一视频帧和第二视频帧的场景，被访问的所述场景具有标识包括所述场景的一个或多个视频帧中的待修改的目标区域的注释；
计算针对所述场景内的所述目标区域的边界的边界运动，其中所述边界包括所述第一视频帧和所述第二视频帧中与所述目标区域相邻的边界像素；
分别向所述边界像素分配置信度值，其中特定置信度值至少部分地基于以下中的一个或多个：(i)关于特定边界像素的前向运动与反向运动之间的差异，以及(ii)包括所述特定边界像素的区域中的纹理；
从所述边界运动内插所述目标区域内的目标像素的目标运动，其中所述特定边界像素的所述特定置信度值控制所述特定边界像素的特定运动对从所述边界运动内插的所述目标运动的贡献；以及
更新所述目标像素的颜色数据以对应于从所述边界运动内插的所述目标运动。


2.根据权利要求1所述的方法，所述操作还包括通过执行包括以下各项的附加操作来分配所述特定置信度值：
计算所述特定边界像素关于所述第一视频帧和所述第二视频帧的前向光流和后向光流；以及
将S形函数应用于所述前向光流与所述后向光流之间的差异，其中所述特定置信度值包括所述S形函数的输出或者从所述S形函数的所述输出得出，
其中所述前向光流与所述后向光流之间的所述差异的增加对应于所述特定置信度值的减小。


3.根据权利要求2所述的方法，所述操作还包括通过执行包括以下各项的附加操作来计算所述前向光流与所述后向光流之间的所述差异：
标识所述第一视频帧中的所述特定边界像素的观察位置；
通过以下方式来计算所述特定边界像素的估计位置：(i)将来自所述第一视频帧的所述前向光流应用于所述第二视频帧，以及(ii)将来自所述第二视频帧的所述后向光流应用于所述第一视频帧；以及
计算从所述观察位置到所述估计位置的距离。


4.根据权利要求2所述的方法，其中所述操作还包括从所述S形函数的所述输出中得出所述特定置信度值，
其中从所述S形函数的所述输出中得出所述特定置信度值包括将所述S形函数的所述输出乘以从窗口区域中的所述纹理计算出的纹理分量，所述窗口区域包括所述特定边界像素和所述特定边界像素周围的窗口中的一组像素，
其中所述纹理的增加对应于所述特定置信度值的增加。


5.根据权利要求4所述的方法，所述操作还包括通过在所述第一视频帧或所述第二视频帧中计算所述窗口区域中的强度值的方差来计算所述纹理分量。


6.根据权利要求5所述的方法，其中所述窗口区域中的强度值的所述方差包括强度差的总和，其中每个强度差是所述窗口区域中的相应像素的灰度强度与所述窗口区域的平均灰度强度之间的差异。


7.根据权利要求1所述的方法，所述操作还包括通过执行附加操作来分配所述特定置信度值，所述附加操作包括在所述第一视频帧或所述第二视频帧中计算窗口区域中的强度值的方差，所述窗口区域包括所述特定边界像素和所述特定边界像素周围的窗口中的一组像素，
其中强度值的所述方差的减小对应于所述特定置信度值的减小。


8.根据权利要求7所述的方法，其中所述窗口区域中的强度值的所述方差包括强度差的总和，其中每个强度差是所述窗口区域中的相应像素的灰度强度与所述窗口区域的平均灰度强度之间的差异。


9.根据权利要求1所述的方法，其中所述目标区域包括待移除或待修改的对象。


10.一种非瞬态计算机可读介质，其上存储有程序代码，所述程序代码在由一个或多个处理设备执行时使得所述一个或多个处理设备执行包括以下各项的操作：
访问具有目标区域的视频；
用于基于针对所述目标区域的置信度加权运动估计来更新所述目标区域中的视频内容的步骤；以及
在显示设备上呈现已更新的所述视频内容。


11.根据权利要求10所述的非瞬态计算机可读介质，其中用于基于针对所述目标区域的所述置信度加权运动估计来更新所述目标区域中的视频内容的所述步骤包括：
计算特定边界像素关于所述视频中的第一视频帧和所述视频中的第二视频帧的前向光流和后向光流；以及
...

【专利技术属性】
技术研发人员：S·沃克，R·谢赫，O·王，M·卢卡茨，J·尼尔逊，G·奥克斯霍尔姆，E·谢克特曼，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US