一种基于换脸处理针对微表情数据集的数据增强方法技术

本发明专利技术提供基于换脸处理针对微表情数据集的数据增强方法，一种是基于换脸操作，利用包含被测对象脸部的图片，将原始微表情数据集中所有样本的脸替换为被测对象的脸，从而生成一个新数据集，用于支持实现微表情识别；另一种是基于换脸操作，分别选择原始微表情数据集之中来自每一个对象的脸部图片，将原始微表情数据集中的所有样本的脸分别换成所选对象的脸，从而对原始微表情数据集中每一个对象生成一个新的数据集；然后结合所有对象生成的新数据集，构建一个扩增的数据集，用于支持实现微表情识别。通过这种利用换脸技术的方式，本发明专利技术加强了数据集和被测试对象之间的关系，可以提升针对特定对象的识别准确率。提升针对特定对象的识别准确率。提升针对特定对象的识别准确率。

【技术实现步骤摘要】
Representations,pp.1
‑
13,2017.
[0009]【文献5】N.Van Huynh,D.T.Hoang,D.N.Nguyen and E.Dutkiewicz,"DeepFake:Deep Dueling
‑
based Deception Strategy to Defeat Reactive Jammers,"in IEEE Transactions on Wireless Communications,doi:10.1109/TWC.2021.3078439,2021
[0010]【文献6】I.E.Perov,D.Gao,,N.Chervoniy,K.Liu,,S.Marangonda,C.Um'e,M.Dpfks,C.S.Facenheim,R.Luis,J.Jiang,S.Zhang,P.Wu,B.Zhou,and W.Zhang,“DeepFaceLab:Integrated,flexible and extensible face
‑
swapping framework,”2021
[0011]【文献7】A.Siarohin,S.Lathuili
è
re,S.Tulyakov,E.Ricci,and N.Sebe“First Order Motion Model for Image Animation,”NeurIPS,2019..
[0012]【文献8】Y.Nirkin,Y.Keller and T.Hassner,"FSGAN:Subject Agnostic Face Swapping and Reenactment,"2019 IEEE/CVF International Conference on Computer Vision(ICCV),pp.7183
‑
7192,2019

技术实现思路

[0013]针对现有微表情数据集的存在的不足，本专利技术以换脸技术为基础，提出基于换脸处理针对微表情数据集的数据增强方式，增强数据集与被测对象的相关性或者丰富数据集内样本数量，以增加数据集的训练效果。
[0014]本专利技术采用如下技术方案：
[0015]一种基于卷积神经网络的像素位移向量的微表情识别方法，基于换脸操作，利用包含被测对象脸部的图片，将原始微表情数据集中所有样本的脸替换为被测对象的脸，从而生成一个新数据集，用于支持实现微表情识别。
[0016]而且，实现过程采用以下步骤，
[0017](1)选取来自待测对象表情序列的一张或多张图片，根据选用换脸模型的要求而定；
[0018](2)利用选取的来自待测对象表情序列的图片，对整个原始微表情数据集中所有表情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成被测对象的脸，从而形成一个针对被测对象的新数据集。
[0019]而且，选一张时采用正面平静表情图片，选多张时采用含有多种表情多个角度的人脸的图片。
[0020]而且，换脸操作采用FSGAN或deepfakes实现。
[0021]另一方面，本专利技术还提供一种基于卷积神经网络的像素位移向量的微表情识别方法，基于换脸操作，分别选择原始微表情数据集之中来自每一个对象的脸部图片，将原始微表情数据集中的所有样本的脸分别换成所选对象的脸，从而对原始微表情数据集中每一个对象生成一个新的数据集；然后结合所有对象生成的新数据集，构建一个扩增的数据集，用于支持实现微表情识别。
[0022]而且，实现过程采用以下步骤，
[0023](1)选中一个未被选过的原始微表情数据集中的对象，选取来自该对象表情序列的一张或多张图片；
[0024](2)利用来自选取对象表情序列的含脸图片，对整个原始微表情数据集中所有表
情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成选取对象的脸，从而获得额外的表情样本；
[0025](3)重复(1)(2)直到所有原始数据集中的对象都被选中过一次，将所有额外的表情样本和原始微表情数据集整合起来，形成一个扩增数据集。
[0026]而且，换脸操作采用FSGAN或deepfakes实现。
[0027]通过这种利用换脸技术的方式，本专利技术加强了数据集和被测试对象之间的关系，可以提升针对特定对象的识别准确率，这对实际应用中的微表情识别很有帮助，具有重要的市场价值。
附图说明
[0028]构成本申请的一部分的说明书附图用来提供对本申请的进一步解释，示意图及其说明并不构成对本申请的不当限定。
[0029]图1是本专利技术实施例提出的基于换脸技术针对微表情数据集的数据增强方法示意图。
[0030]图2是本专利技术实施例提出的基于换脸处理的针对被测对象的数据增强方式效果示意图。
[0031]图3是本专利技术实施例提出的基于换脸处理的样本扩增效果示意图。
具体实施方式
[0032]以下结合附图对本专利技术的具体实施方式进行详细说明。需要理解的是，此处所描述的具体实施方式仅仅用于说明或解释本专利技术，不用于限制本专利技术。
[0033]如图1所示，本专利技术实施例提供基于换脸技术针对微表情数据集的数据增强方法包括以下步骤：
[0034]第一步是预处理，首先提取出数据集之中的表情序列以及来自待测对象的待测表情序列，然后对这些表情序列，依次做人脸检测，人脸对齐，以及裁剪，获得裁剪后的人脸表情序列。
[0035]第二步是对预处理后的现有数据集种的表情序列进行数据增强，本专利技术提出两种数据增强操作方式：基于换脸处理针对被测对象的数据增强和基于换脸处理样本扩增。
[0036]第一种方式是用被测试对象的脸对现有数据集中的所有脸进行换脸，生成一个所有脸都被替换为被测对象的脸的新数据集，然后利用生成的新数据集中训练，即使用换脸技术，利用包含被测对象脸的一张或几张图片，将原始微表情数据集样本的脸替换为被测对象的脸，从而生成一个新数据集用来训练。
[0037]所述的基于换脸处理针对被测对象的数据增强，可以利用之前进行预处理的结果，实施例使用经典方法对新被试和现有数据集的表情序列进行人脸检测和人脸对齐，得到提取的人脸序列。为了提高换脸的质量，实施例对提取的人脸序列进行归一化处理，将提取的不同分辨率的矩形图像在垂直方向上拉伸和缩放为256像素，然后在水平方向上进行黑色填充。通过这种方式，实施例将所有图像处理成256*256像素。这样，实施例就有了来自待测对象和现有数据集的归一化剪裁的人脸序列。以原始数据集以及被测对象的一张或几张照片作为输入，然后，实施例将这两部分输入送入FSGAN或deepfakes等任一可用的换脸
框架，实现人脸换脸，获得一个新的特定数据集，其中所有的人脸都被交换成新对象的人脸。具体实施时可以使用这个新的数据集来训练一个专门针对新对象的识别模型。
[0038]实施例中，基于换脸处理针对被测对象的数据增强(即图1中方法1)的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于换脸处理针对微表情数据集的数据增强方法，其特征在于：基于换脸操作，利用包含被测对象脸部的图片，将原始微表情数据集中所有样本的脸替换为被测对象的脸，从而生成一个新数据集，用于支持实现微表情识别。2.根据权利要求1所述基于换脸处理针对微表情数据集的数据增强方法，其特征在于：实现过程采用以下步骤，(1)选取来自待测对象表情序列的一张或多张图片，根据选用换脸模型的要求而定；(2)利用选取的来自待测对象表情序列的图片，对整个原始微表情数据集中所有表情序列样本图片做换脸操作，将原始微表情数据集所有表情图片的脸全都换成被测对象的脸，从而形成一个针对被测对象的新数据集。3.根据权利要求2所述基于换脸处理针对微表情数据集的数据增强方法，其特征在于：选一张时采用正面平静表情图片，选多张时采用含有多种表情多个角度的人脸的图片。4.根据权利要求1或2或3所述基于换脸处理针对微表情数据集的数据增强方法，其特征在于：换脸操作采用FSGAN或deepfakes实现。5.一种基于换脸处理针对微表情数据集的数据增强方法，...

【专利技术属性】
技术研发人员：何双江，项金桥，赵俭辉，董喆，方博，鄢浩，赵慧娟，孙含笑，
申请(专利权)人：湖北省人民检察院，
类型：发明
国别省市：