一种数据处理方法技术

本发明专利技术提供了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、设备及可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法
、
装置
、
设备及可读存储介质
。

技术介绍

[0002]现有技术方案在图像人脸替换领域已取得较多突破和应用，而视频人脸替换场景则面临更多的技术瓶颈
。
具体的，现有视频人脸替换技术通常是将视频拆解成一系列独立的帧，再分别基于图像人脸替换技术逐帧进行处理，帧与帧之间的处理相互独立，最后将完成图像换脸的帧序列进行编码输出结果视频
。
换言之，现有视频换脸技术整体上仅仅为图像换脸技术的多帧化处理
。
基于此，现有视频人脸替换技术方案通常存在以下问题：
[0003]帧与帧之间的处理相互独立，导致生成的结果视频容易出现脸部动作流畅度不足和
/
或光影连贯度不足的问题
。

技术实现思路

[0004]本专利技术的目的在于提供一种数据处理方法
、
装置
、
设备及可读存储介质，以解决现有技术中针对人脸替换的数据处理方案存在生成的结果视频的脸部动作流畅度不足和
/
或光影连贯度不足的问题
。
[0005]为了解决上述技术问题，本专利技术提供一种数据处理方法，包括：
[0006]根据待处理视频，获取第一人物的空域特征和时域特征；
[0007]根据所述空域特征和时域特征，获取第一时空融合特征；
[0008]根据所述第一时空融合特征和第二人物的人脸特征，得到第二时空融合特征；
[0009]根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。
[0010]可选的，根据待处理视频，获取第一人物的时域特征，包括：
[0011]针对待处理视频所包含的视频帧进行跨帧光流估计，得到帧间光流图；
[0012]将各视频帧的前序帧间光流图和后序帧间光流图进行合并，得到前后文光流图；其中，所述前序帧间光流图是指当前视频帧与前序视频帧之间的帧间光流图；所述后序帧间光流图是指当前视频帧与后序视频帧之间的帧间光流图；
[0013]根据所述前后文光流图，获取第一人物的时域特征
。
[0014]可选的，所述根据所述前后文光流图，获取第一人物的时域特征，包括：
[0015]针对所述视频帧进行人脸检测，得到在所述视频帧中第一人物的人脸位置；
[0016]根据所述人脸位置对所述前后文光流图进行裁切，得到对应的前后文光流切图；
[0017]根据所述前后文光流切图，得到第一人物的时域特征
。
[0018]可选的，所述根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频，包括：
[0019]根据所述第二时空融合特征，生成目标人脸切图；
[0020]利用所述目标人脸切图，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。
[0021]可选的，还包括：
[0022]利用训练数据和目标损失函数，训练双流时空特征提取器
、
人脸标识植入器以及人脸合成器；
[0023]其中，所述目标损失函数为包括身份损失函数
、
空域损失函数和时域损失函数的复合函数；
[0024]所述身份损失函数用于表示结果视频中的合成人脸相对所述第二人物人脸的损失；
[0025]所述空域损失函数用于表示结果视频中的视频帧相对所述待处理视频的视频帧在空域维度的损失；
[0026]所述时域损失函数用于表示结果视频相对所述待处理视频在时域维度的损失；
[0027]所述双流时空特征提取器用于提取所述第一人物的空域特征和时域特征；
[0028]所述人脸标识植入器用于获取所述第二人物的人脸特征，并结合第一时空融合特征生成第二时空融合特征；
[0029]所述人脸合成器用于根据所述第二时空融合特征，生成目标人脸切图
。
[0030]可选的，所述身份损失函数包括在所述结果视频内基于合成人脸帧序列的跨帧比对的身份损失计算
。
[0031]可选的，所述空域损失函数包括所述待处理视频和结果视频进行序列比对的空域损失计算
。
[0032]本专利技术还提供了一种数据处理装置，包括：
[0033]第一模块，用于根据待处理视频，获取第一人物的空域特征和时域特征；
[0034]第二模块，用于根据所述空域特征和时域特征，获取第一时空融合特征；
[0035]第三模块，用于根据所述第一时空融合特征和第二人物的人脸特征，得到第二时空融合特征；
[0036]第四模块，用于根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。
[0037]可选的，根据待处理视频，获取第一人物的时域特征，包括：
[0038]针对待处理视频所包含的视频帧进行跨帧光流估计，得到帧间光流图；
[0039]将各视频帧的前序帧间光流图和后序帧间光流图进行合并，得到前后文光流图；其中，所述前序帧间光流图是指当前视频帧与前序视频帧之间的帧间光流图；所述后序帧间光流图是指当前视频帧与后序视频帧之间的帧间光流图；
[0040]根据所述前后文光流图，获取第一人物的时域特征
。
[0041]可选的，所述根据所述前后文光流图，获取第一人物的时域特征，包括：
[0042]针对所述视频帧进行人脸检测，得到在所述视频帧中第一人物的人脸位置；
[0043]根据所述人脸位置对所述前后文光流图进行裁切，得到对应的前后文光流切图；
[0044]根据所述前后文光流切图，得到第一人物的时域特征
。
[0045]可选的，所述根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频，包括：
[0046]根据所述第二时空融合特征，生成目标人脸切图；
[0047]利用所述目标人脸切图，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。
[0048]可选的，还包括：
[0049]第五模块，用于利用训练数据和目标损失函数，训练双流时空特征提取器
、
人脸标识植入器以及人脸合成器；
[0050]其中，所述目标损失函数为包括身份损失函数
、
空域损失函数和时域损失函数的复合函数；
[0051]所述身份损失函数用于表示结果视频中的合成人脸相对所述第二人物人脸的损失；
[0052]所述空域损失函数用于表示结果视频中的视频帧相对所述待处理视频的视频帧在空域维度的损失；
[0053]所述时域损失函数用于表示结果视频相对所述待处理视频在时域维度的损失；
[0054]所述双流时空特征提取器用于提取所述第一人物的空域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：根据待处理视频，获取第一人物的空域特征和时域特征；根据所述空域特征和时域特征，获取第一时空融合特征；根据所述第一时空融合特征和第二人物的人脸特征，得到第二时空融合特征；根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。2.
根据权利要求1所述的数据处理方法，其特征在于，根据待处理视频，获取第一人物的时域特征，包括：针对待处理视频所包含的视频帧进行跨帧光流估计，得到帧间光流图；将各视频帧的前序帧间光流图和后序帧间光流图进行合并，得到前后文光流图；其中，所述前序帧间光流图是指当前视频帧与前序视频帧之间的帧间光流图；所述后序帧间光流图是指当前视频帧与后序视频帧之间的帧间光流图；根据所述前后文光流图，获取第一人物的时域特征
。3.
根据权利要求2所述的数据处理方法，其特征在于，所述根据所述前后文光流图，获取第一人物的时域特征，包括：针对所述视频帧进行人脸检测，得到在所述视频帧中第一人物的人脸位置；根据所述人脸位置对所述前后文光流图进行裁切，得到对应的前后文光流切图；根据所述前后文光流切图，得到第一人物的时域特征
。4.
根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第二时空融合特征，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频，包括：根据所述第二时空融合特征，生成目标人脸切图；利用所述目标人脸切图，对所述待处理视频中的第一人物的人脸进行替换，得到结果视频
。5.
根据权利要求1所述的数据处理方法，其特征在于，还包括：利用训练数据和目标损失函数，训练双流时空特征提取器
、
人脸标识植入器以及人脸合成器；其中，所述目标损失函数为包括身份损失函数
、<...

【专利技术属性】
技术研发人员：谢中流，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：