一种微表情放大到宏表情的方法、系统、设备及介质技术方案

本发明专利技术属于微表情技术领域，公开了一种微表情放大到宏表情的方法、系统、设备及介质，所述微表情放大到宏表情的方法包括从宏表情序列中提取初帧和中间帧，来模拟微表情的面部运动，把宏表情的中间帧作为微表情的顶帧；选择一个极佳的图像迁移模型FOMM，图像迁移模型FOMM包括运动估计模块和图像生成模块；FOMM网络以源图像和驱动帧为输入，使源图像中的对象根据驱动帧中的动作生成新的图像；FOMM网络根据给定宏表情序列数据集进行训练，使得网络掌握宏表情变化特征；运动放大模块被加入到运动估计模块和图像生成模块之间，以实现基于图像迁移的微表情放大功能。迁移的微表情放大功能。迁移的微表情放大功能。

【技术实现步骤摘要】
一种微表情放大到宏表情的方法、系统、设备及介质


[0001]本专利技术属于微表情
，尤其涉及一种微表情放大到宏表情的方法、系统、设备及介质。

技术介绍

[0002]目前，微表情识别自成为计算机视觉领域的重要任务以来，近几年识别率达到了瓶颈。有研究者发现，微表情放大有助于微表情识别任务，通过放大微表情面部特征，有利于特征提取。近年来，线性欧拉视频放大算法和基于相位的视频放大方法往往被应用于微表情放大任务。自深度学习放大方法被提出以来，它也被应用于了微表情放大任务，相比于前两种方法它取得了更好的效果。但是这些方法绝大多数情况都只是对微表情图片进行预处理，而且放大结果无论是从视觉效果还是准确度提升上，都十分有限。当前基于深度学习的视频放大方法并不是针对于微表情放大任务提出的，它可以调整放大倍数然后乘以两帧的差值进行放大。但是这样的线性放大并不适用于微表情这样的非线性放大任务，而且人为调整放大倍数对于微表情放大任务而言往往会造成放大图像严重扭曲失真。因此，这样的方法只能对微表情进行小倍数放大预处理，取得的放大效果有限。综上所述，如何基于深度学习完成微表情非线性放大的同时又保证图片不失真，成为微表情领域的一个重要问题。
[0003]通过上述分析，现有技术存在的问题及缺陷为：现有技术中线性放大并不适用于微表情的非线性放大任务，而且人为调整放大倍数对于微表情放大任务而言往往会造成放大图像严重扭曲失真。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供了一种微表情放大到宏表情的方法、系统、设备及介质。
[0005]本专利技术是这样实现的，一种微表情放大到宏表情的方法，所述微表情放大到宏表情的方法包括：
[0006]从宏表情序列中提取初帧和中间帧，来模拟微表情的面部运动，把宏表情的中间帧作为微表情的顶帧；选择一个极佳的图像迁移模型FOMM，图像迁移模型FOMM包括运动估计模块和图像生成模块；FOMM网络以源图像和驱动帧为输入，使源图像中的对象根据驱动帧中的动作生成新的图像；FOMM网络根据给定宏表情序列数据集进行训练，使得网络掌握宏表情变化特征；给定宏表情序列中初帧作为源图像，其他帧作为驱动帧；数据集包括MMI和CK+宏表情数据集；运动放大模块被加入到运动估计模块和图像生成模块之间，以实现基于图像迁移的微表情放大功能。
[0007]进一步，所述微表情放大到宏表情的方法具体过程为：
[0008]步骤一，基于给定的预训练的运动估计模块，将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入，分别输出微表情特征图以及宏表情特征图；
[0009]步骤二，在宏表情特征图的指导下，微表情特征图被输入到运动放大模块中训练如何变化为宏表情特征图；生成的宏表情特征图被输入到预训练的图像生成模块，生成最终的放大的图像；
[0010]步骤三，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能。
[0011]进一步，所述步骤三中，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能具体过程为：
[0012]运动放大模块为编码器
‑
解码器结构，前半部分是特征提取，后半部分是上采样，运动放大模块用于多尺度特征融合的跳过连接；从微表情到宏表情的放大过程跨度过大，引入双重注意力机制。
[0013]进一步，所述从微表情到宏表情的放大过程跨度过大，引入双重注意力机制具体过程为：
[0014]通过注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和，从而连接特征图任意两个位置的长期依赖关系和非线性变换信息，获取更好的放大效果。
[0015]进一步，所述获取更好的放大效果具体过程为：
[0016]注意力模块中特征图作为输入被送入到三个不同的卷积层并且生成了新维度的特征图；三个不同的卷积层分别为value_conv、query_conv和key_conv；query_conv和key_conv两个卷积层输出的两个特征图经过重塑、相乘以及使用softmax对权重进行归一化后得到注意力图；注意力图与value_conv卷积层输出的特征图通过一系列数学运算最终输出新的特征图。
[0017]进一步，所述上采样设置有尺度分别为128
×
128和64
×
64的两个上采样层，在两个上采样层后面添加注意力模块。
[0018]本专利技术的另一目的在于提供一种实施所述微表情放大到宏表情的方法的微表情放大到宏表情的系统，所述微表情放大到宏表情的系统包括：
[0019]预训练的运动估计模块，将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入，分别输出微表情特征图以及宏表情特征图；
[0020]预训练的图像生成模块，将生成的宏表情特征图变换成最终的放大的图像；
[0021]运动放大模块，通过编码器
‑
解码器结构进行特征提取和上采样，并且用于多尺度特征融合的跳过连接。
[0022]进一步，所述运动放大模块设置有注意力模块，注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和，从而连接特征图任意两个位置的长期依赖关系和非线性变换信息，获取更好的放大效果。
[0023]本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0024]步骤一，基于给定的预训练的运动估计模块，将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入，分别输出微表情特征图以及宏表情特征图；
[0025]步骤二，在宏表情特征图的指导下，微表情特征图被输入到运动放大模块中训练
如何变化为宏表情特征图；生成的宏表情特征图被输入到预训练的图像生成模块，生成最终的放大的图像；
[0026]步骤三，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能。
[0027]本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0028]步骤一，基于给定的预训练的运动估计模块，将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入，分别输出微表情特征图以及宏表情特征图；
[0029]步骤二，在宏表情特征图的指导下，微表情特征图被输入到运动放大模块中训练如何变化为宏表情特征图；生成的宏表情特征图被输入到预训练的图像生成模块，生成最终的放大的图像；
[0030]步骤三，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能。
[0031]结合上述的技术方案和解决的技术问题，请从以下几方面分析本专利技术所要保护的技术方案所具备的优点及积极效果为：
[0032]针对上述现有技术存在的技术问题以及解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微表情放大到宏表情的方法，其特征在于，所述微表情放大到宏表情的方法包括：从宏表情序列中提取初帧和中间帧，来模拟微表情的面部运动，把宏表情的中间帧作为微表情的顶帧；选择一个极佳的图像迁移模型FOMM，图像迁移模型FOMM包括运动估计模块和图像生成模块；FOMM网络以源图像和驱动帧为输入，使源图像中的对象根据驱动帧中的动作生成新的图像；FOMM网络根据给定宏表情序列数据集进行训练，使得网络掌握宏表情变化特征；给定宏表情序列中初帧作为源图像，其他帧作为驱动帧；数据集包括MMI和CK+宏表情数据集；运动放大模块被加入到运动估计模块和图像生成模块之间，以实现基于图像迁移的微表情放大功能。2.如权利要求1所述微表情放大到宏表情的方法，其特征在于，所述微表情放大到宏表情的方法具体过程为：步骤一，基于给定的预训练的运动估计模块，将宏表情序列的初帧和中间帧以及初帧和顶帧作为输入，分别输出微表情特征图以及宏表情特征图；步骤二，在宏表情特征图的指导下，微表情特征图被输入到运动放大模块中训练如何变化为宏表情特征图；生成的宏表情特征图被输入到预训练的图像生成模块，生成最终的放大的图像；步骤三，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能。3.如权利要求2所述微表情放大到宏表情的方法，其特征在于，所述步骤三中，预训练的运动估计模块和预训练的图像生成模块之间加入运动放大模块，以实现基于图像迁移的微表情放大功能具体过程为：运动放大模块为编码器
‑
解码器结构，前半部分是特征提取，后半部分是上采样，运动放大模块用于多尺度特征融合的跳过连接；从微表情到宏表情的放大过程跨度过大，引入双重注意力机制。4.如权利要求3所述微表情放大到宏表情的方法，其特征在于，所述从微表情到宏表情的放大过程跨度过大，引入双重注意力机制具体过程为：通过注意力模块将某个位置的响应计算为来自不同空间位置的所有特征的加权和，从而连接特征图任意两个位置的长期依赖关系和非线性变换信息，获取更好的放大效果。5.如权利要求4所述微表情放大到宏表情的方法，其特征在于，所述获取更好的放大效果具体过程为：注意力模块中特征图作为输入被送入到三个不同的卷积层并且生成了新维度的特征图；三个不同的卷积层分别为value_conv、query_conv和key_conv；query_conv和key_conv两个卷积层输出的两个特征图经过重塑、相乘以及使用softma...

【专利技术属性】
技术研发人员：李剑峰，宋亚琦，
申请(专利权)人：西南大学，
类型：发明
国别省市：