基于视频图像的头部替换的方法及装置制造方法及图纸

本申请公开了一种基于视频图像的头部替换的方法及装置。其中，该方法包括：将原始视频解码分解成多个图片，其中，所述多个图片中的至少部分图片内包含头部图像；从所述多个图片中提取所述头部图像中的头部的运动轨迹数据；基于所述多个图片，推算拍摄所述原始视频的摄像机的拍摄轨迹数据，并基于所述拍摄轨迹来匹配用于替换所述头部图像的三维素材；基于所述运动轨迹数据和所述拍摄轨迹数据，用所述三维素材来替换所述原始视频内包含的头部图像。本申请解决了由于视频图像中头部替换是通过对图片进行处理再合成为视频而导致效率比较低、画面不逼真的技术问题。画面不逼真的技术问题。画面不逼真的技术问题。

【技术实现步骤摘要】
基于视频图像的头部替换的方法及装置


[0001]本申请涉及数据处理领域，具体而言，涉及一种基于视频图像的头部替换的方法及装置。

技术介绍

[0002]现有的视频图像的头部替换的主流方法有如下三种：
[0003]基于分割算法和抠图算法，通过传统视频后期跟踪合成技术，经过人工剪切复制将视频图像中的头部图像一帧一帧替换为新的头部素材。该方法不能保证合成视频的真实程度和视频质量，且人力成本较高，效率比较低下。
[0004]为了解决上述问题，现有技术中又提出了基于深度神经网络的替换方法，该方法先提取输入图像的深层信息，读取出其中隐含的深层特征并进行头部互换，最后将处理好的图片拼接成最终视频。但是，该方法只能将人物的头部五官进行调整替换，并不能替换头部的其他部分。
[0005]综上，现有的视频图像头部替换并没有迅捷有效的方法，大部分都是都通过对图片进行处理再合成为视频，因此存在效率比较低、画面不逼真的问题。
[0006]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0007]本申请实施例提供了一种基于视频图像的头部替换的方法及装置，以至少解决由于视频图像中头部替换是通过对图片进行处理再合成为视频而导致效率比较低、画面不逼真的技术问题。
[0008]根据本申请实施例的一个方面，提供了一种基于视频图像的头部替换的方法，包括：将原始视频解码分解成多个图片，其中，所述多个图片中的至少部分图片内包含头部图像；从所述多个图片中提取所述头部图像中的头部的运动轨迹数据；基于所述多个图片，推算拍摄所述原始视频的摄像机的拍摄轨迹数据，并基于所述拍摄轨迹来匹配用于替换所述头部图像的三维素材；基于所述运动轨迹数据和所述拍摄轨迹数据，用所述三维素材来替换所述原始视频中包含的所述头部图像。
[0009]根据本申请实施例的另一方面，还提供了一种基于视频图像的头部替换的装置，包括：分解模块，被配置为将原始视频解码分解成多个图片，其中，所述多个图片中的每个图片包含头部图像；提取模块，被配置为从所述多个图片中提取所述头部图像中的头部的运动轨迹数据；匹配模块，被配置为基于所述多个图片，推算拍摄所述原始视频的摄像机的拍摄轨迹数据，并基于所述拍摄轨迹来匹配用于替换所述头部图像的三维素材；替换模块，被配置为基于所述运动轨迹数据，用所述三维素材来替换所述原始视频中包含的所述头部图像。
[0010]根据本申请实施例的又一方面，还提供了一种计算机可读存储介质，其上存储有程序，在所述程序运行时，使得计算机执行如上所述的基于视频图像的头部替换的方法。
[0011]在本申请实施例中，从多个图片中提取所述头部图像中的头部的运动轨迹数据；基于多个图片推算拍摄所述原始视频的摄像机的拍摄轨迹数据；基于所述运动轨迹数据和所述拍摄轨迹数据，用匹配的三维素材来替换原始视频内包含的所述头部图像，从而解决了由于视频图像中头部替换是通过对图片进行处理再合成为视频而导致效率比较低、画面不逼真的技术问题。
附图说明
[0012]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0013]图1是根据本申请实施例的一种基于视频图像的头部替换的方法的流程图；
[0014]图2是根据本申请实施例的另一种基于视频图像的头部替换的方法的流程图；
[0015]图3是根据本申请实施例的相邻两帧图片中像素点的光流示意图；
[0016]图4是根据本申请实施例的具有集成窗口的相邻两帧图片中像素点的光流示意图；
[0017]图5是根据本申请实施例的头部图像中标注的特征点的示意图；
[0018]图6是根据本申请实施例的摄像机坐标系、图像坐标系和世界坐标系的对应关系示意图；
[0019]图7是根据本申请实施例的世界坐标系和摄像机坐标系之间的转换关系的示意图；
[0020]图8是根据本申请实施例的透视投影的示意图；
[0021]图9是根据本申请实施例的一种基于视频图像的头部替换的装置的结构示意图；
[0022]图10是根据本申请实施例的一种可以应用基于视频图像的头部替换的方法和装置的示例性系统的架构示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0024]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]实施例1
[0026]根据本申请实施例，提供了一种基于视频图像的头部替换的方法，如图1所示，该
方法包括：
[0027]步骤S102，将原始视频解码分解成多个图片，其中，所述多个图片中的至少部分图片内包含头部图像；
[0028]步骤S104，从所述多个图片中提取所述头部图像中的头部的运动轨迹数据；
[0029]基于光流算法对原始视频中移动的头部进行跟踪，绘制图片序列中每张图片内头部在连续帧之间的运动轨迹数据，运动轨迹数据是像素点在连续两帧图片上的位移矢量。
[0030]在一些示例中，可以循环执行以下步骤直到遍历完所述多个图片中的每一帧图片来提取运动轨迹数据：
[0031]1)针对所述多个图片中每相邻的两帧图片中的第一帧图片，检测所述头部图像，并在检测到所述头部图像的情况下，确定所述第一帧图片中能够代表所述头部图像的特征点。
[0032]如果在多个图片中存在检测不到头部图像的图片，则跳过该图片。
[0033]2)寻找所述第一帧图片中出现的所述特征点在所述每相邻的两帧图片中的第二帧图片内的最佳位置，以确定所述头部图像在所述第二帧图片中的位置；
[0034]首先，基于光流算法，确定所述特征点在所述第一帧图片和所述第二帧图片上的位移矢量；例如，对所述第一帧图片中预设窗口内的所有像素点与所述第二帧图片中的所述预设窗口内已进行位移的所有像素点进行差分求和，得到最小化差异函数的矢量；基于所述最小化差异函数的矢量，来确定所述特征点在所述第一帧图片和所述第二帧图片上的位移矢量。
[0035]接着，基于所确定的位移矢量，在所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频图像的头部替换的方法，其特征在于，包括：将原始视频解码分解成多个图片，其中，所述多个图片中的至少部分图片内包含头部图像；从所述多个图片中提取所述头部图像中的头部的运动轨迹数据；基于所述多个图片，推算拍摄所述原始视频的摄像机的拍摄轨迹数据，并基于所述拍摄轨迹来匹配用于替换所述头部图像的三维素材；基于所述运动轨迹数据和所述拍摄轨迹数据，用所述三维素材来替换所述原始视频中包含的头部图像。2.根据权利要求1所述的方法，其特征在于，从所述多个图片中提取所述头部图像中的头部的运动轨迹数据，包括循环执行以下步骤直到遍历完所述多个图片中的每一帧图片：针对所述多个图片中每相邻的两帧图片中的第一帧图片，检测所述头部图像，并在检测到所述头部图像的情况下，确定所述第一帧图片中能够代表所述头部图像的特征点；寻找所述第一帧图片中出现的所述特征点在所述每相邻的两帧图片中的第二帧图片内的最佳位置，以确定所述头部图像在所述第二帧图片中的位置。3.根据权利要求2所述的方法，其特征在于，寻找所述第一帧图片中出现的所述特征点在所述每相邻的两帧图片中的第二帧图片内的最佳位置，包括：基于光流算法，确定所述特征点在所述第一帧图片和所述第二帧图片上的位移矢量；基于所确定的位移矢量，在所述第二帧图片上寻找所述最佳位置。4.根据权利要求3所述的方法，其特征在于，基于光流算法，确定所述特征点在所述第一帧图片和所述第二帧图片上的位移矢量，包括：对所述第一帧图片中预设窗口内的所有像素点与所述第二帧图片中的所述预设窗口内已进行位移的所有像素点进行差分求和，得到最小化差异函数的矢量；基于所述最小化差异函数的矢量，来确定所述特征点在所述第一帧图片和所述第二帧图片上的位移矢量。5.根据权利要求2所述的方法，其特征在于，在从所述多个图片中提取所述头部图像中的头部的运动轨迹数据之后，所述方法还包括：基于预设的头部关键点，从所述多个图片中获取与所述头部图像相应的特征数据集；利用欧氏距离方法，来计算与所述每相邻的两帧图片相应的特征数据集中的特征向量的距离；基于所计算出的距离，来识别所述每相邻的两帧图片中的头部图像是否匹配。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：纪智辉，崔洪亮，
申请(专利权)人：世优北京科技有限公司，
类型：发明
国别省市：