【技术实现步骤摘要】
本申请涉及人工智能邻域，具体而言，涉及一种微表情图像的生成方法、微表情图像的生成装置以及电子装置。
技术介绍
1、微表情是一种自发的、无意识的、短暂的面部表情，通常在人们试图掩饰自身的情绪波动时产生。这些简短的微表情由于其微妙和简洁而难以进行人为识别，且需要经过专业的训练，因此依赖于计算机进行自动识别与检测。深度学习在许多领域取得了良好的表现，但是其表现很大程度上依赖于海量数据。然而，微表情标注数据很难获取，且需要大量人力成本，并且微表情数据的生成精度较差。
2、因此，亟需一种方法解决微表情图像生成不够精确的问题。
技术实现思路
1、本申请的主要目的在于提供一种微表情图像的生成方法、微表情图像的生成装置以及电子装置，以至少解决现有技术中微表情图像生成不够精确的问题。
2、根据本申请的一方面，提供了一种微表情图像的生成方法，包括：获取初始生成器，并采用第一损失函数对所述初始生成器进行第一预训练，得到目标生成器，其中，所述初始生成器包括编码器、解码器以及多个图推理模块，所述编码器的输出端分别与所述解码器的输入端和所述图推理模块的输入端连接，所述图推理模块的输出端与所述解码器的输入端连接，所述图推理模块用于将所述编码器的中间信息传输至所述解码器；获取初始判别器，并采用第二损失函数对所述初始判别器进行第二预训练，得到目标判别器，其中，所述初始判别器包括特征提取器、全卷积网络以及胶囊网络；至少根据所述第一损失函数和所述第二损失函数，确定第三损失函数，并采用所述第三损失
3、可选地，采用第一损失函数对所述初始生成器进行第一预训练，得到目标生成器，包括：获取多个真实图像，并将所述多个真实图像依次输入至所述编码器以对所述真实图像进行编码处理，得到多个所述真实图像的多个编码特征图以及多个所述真实图像的多个特征向量，其中，所述多个真实图像为按照时间序列排布的多个所述历史微表情图像；将多个所述编码特征图分别输入至对应的所述图推理模块以对所述编码特征图进行聚合处理，得到多个目标特征图；获取所述真实图像对应的标签和随机噪声，将所述标签、所述随机噪声以及所述目标特征图输入至所述解码器以对所述目标特征图进行解码处理，得到生成图像。
4、可选地，所述编码器包括依次连接的n个卷积层，n为大于2的正整数，将所述多个真实图像依次输入至所述编码器以对所述真实图像进行编码处理，得到多个所述真实图像的多个编码特征图以及多个所述真实图像的多个特征向量，包括：将所述多个真实图像依次输入至n个所述卷积层中；获取第2个所述卷积层至第n-1个所述卷积层的输出结果，得到n-2个所述编码特征图；获取第n个所述卷积层的输出结果，得到所述特征向量。
5、可选地，每个所述图推理模块包括依次连接的投影函数处理层、自注意力机制运算层以及时间图注意力网络，将多个所述编码特征图分别输入至对应的所述图推理模块以对所述编码特征图进行聚合处理，得到多个目标特征图，包括：获取所述编码特征图中的多个初始节点特征图，其中，所述初始节点特征图为所述编码特征图的像素点对应特征图；将多个所述初始节点特征图输出至所述投影函数处理层，得到多个超节点特征图；将多个所述超节点特征图输入至所述自注意力机制运算层以计算多个所述超节点特征图中任意两个所述超节点特征图之间的相似性映射，得到多个通道图；将多个所述通道图输入至所述时间图注意力网络以采用所述通道图的相邻节点的注意力权重，对所述通道图进行更新，得到第一更新通道图；对所述更新通道图进行反卷积处理，得到第二更新通道图对所述第二更新通道图和所述编码特征图进行拼接处理，得到所述目标特征图。
6、可选地，所述编码器包括依次连接的n个卷积层，所述解码器包括依次连接的n个反卷积层，n为大于2的正整数，将所述标签、所述随机噪声以及所述目标特征图输入至所述解码器以对所述目标特征图进行解码处理，得到生成图像，包括：第一处理步骤，对所述标签、所述随机噪声以及所述目标特征图进行拼接处理，得到种子图像；第二处理步骤，将所述种子图像输入至第m个所述反卷积层以对所述种子图像进行反卷积处理，得到第m个解码特征图，其中，m为正整数，并且满足1＜m＜n-1；第三处理步骤，对第m个所述解码特征图和第m个所述目标特征图进行拼接处理，得到第m-1个所述解码特征图；重复步骤，重复所述第三处理步骤至少一次，并在重复的过程中将所述第m个所述解码特征图更新为上一次重复过程中得到的第m-1个所述解码特征图，直到m＝2，确定m＝2时的所述解码特征图为所述生成图像。
7、可选地，采用第二损失函数对所述初始判别器进行第二预训练，得到目标判别器，包括：将所述多个真实图像输入至所述特征提取器以生成难分样本，并根据所述第二损失函数，减小特征空间内所述难分样本和所述真实图像之间的距离；获取多个输入图像，将所述多个输入图像输入至所述全卷积网络，得到映射矩阵，其中，所述输入图像包括所述真实图像和所述生成图像，所述映射矩阵用于表征所述生成图像的真实程度；将所述映射矩阵输入至所述胶囊网络中，得到分类结果，其中，所述胶囊网络包括依次连接的第一胶囊层和第二胶囊层，所述第一胶囊层用于对所述映射矩阵进行封装处理，所述第二胶囊层用于对封装后的所述映射矩阵中的输入图像进行分类，所述分类结果用于表征所述输入图像为所述真实图像或所述生成图像中的一种。
8、可选地，将所述多个真实图像输入至所述特征提取器以生成难分样本，并根据所述第二损失函数，减小特征空间内所述难分样本和所述真实图像之间的距离，包括：根据公式计算所述难分样本其中，xi为第i个所述真实图像，xj为第j个所述真实图像，λ为超参数；根据公式计算所述第二损失函数lada，其中，f()用于表征所述特征提取器，dv(,)用于表征评估所述距离的度量标准，σ为从高斯分布中采样的噪声项。
9、可选地，根据所述第一损失函数和所述第二损失函数，确定第三损失函数，包括：根据公式ltot＝λganlgan(d,g)+λiplip(g)+λadalada(d)，计算所述第三损失函数ltot，其中，lgan(d,g)为所述目标生成器和所述目标判别器的对抗损失函数，λgan为所述对抗损失函数的超参数，lip(g)为所述第一损失函数，λip为所述第一损失函数的超参数，lada(d)为所述第二损失函数，λada为所述第二损失函数的超参数，d为所述目标判别器，g为所述目标生成器。
10、根据本申请的另一方面，提供了一种微表情图像的生成装置，包括：第一训练单元，用于获取初始生成器，并采用第一损失函数对所述初始生成器进行第一预训练，得到目标生成器，其中，所述初始生成器包括编码器、解码器以及多个图推理模块，所述编码器的输出端分别与所述解码器的本文档来自技高网...
【技术保护点】
1.一种微表情图像的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采用第一损失函数对所述初始生成器进行第一预训练，得到目标生成器，包括：
3.根据权利要求2所述的方法，其特征在于，所述编码器包括依次连接的N个卷积层，N为大于2的正整数，将所述多个真实图像依次输入至所述编码器以对所述真实图像进行编码处理，得到多个所述真实图像的多个编码特征图以及多个所述真实图像的多个特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，每个所述图推理模块包括依次连接的投影函数处理层、自注意力机制运算层以及时间图注意力网络，将多个所述编码特征图分别输入至对应的所述图推理模块以对所述编码特征图进行聚合处理，得到多个目标特征图，包括：
5.根据权利要求2所述的方法，其特征在于，所述编码器包括依次连接的N个卷积层，所述解码器包括依次连接的N个反卷积层，N为大于2的正整数，将所述标签、所述随机噪声以及所述目标特征图输入至所述解码器以对所述目标特征图进行解码处理，得到生成图像，包括：
6.根据权利要求2所述的方法，其特征
7.根据权利要求6所述的方法，其特征在于，将所述多个真实图像输入至所述特征提取器以生成难分样本，并根据所述第二损失函数，减小特征空间内所述难分样本和所述真实图像之间的距离，包括：
8.根据权利要求1所述的方法，其特征在于，至少根据所述第一损失函数和所述第二损失函数，确定第三损失函数，包括：
9.一种微表情图像的生成装置，其特征在于，包括：
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任意一项所述的方法。
...【技术特征摘要】
1.一种微表情图像的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采用第一损失函数对所述初始生成器进行第一预训练，得到目标生成器，包括：
3.根据权利要求2所述的方法，其特征在于，所述编码器包括依次连接的n个卷积层，n为大于2的正整数，将所述多个真实图像依次输入至所述编码器以对所述真实图像进行编码处理，得到多个所述真实图像的多个编码特征图以及多个所述真实图像的多个特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，每个所述图推理模块包括依次连接的投影函数处理层、自注意力机制运算层以及时间图注意力网络，将多个所述编码特征图分别输入至对应的所述图推理模块以对所述编码特征图进行聚合处理，得到多个目标特征图，包括：
5.根据权利要求2所述的方法，其特征在于，所述编码器包括依次连接的n个卷积层，所述解码器包括依次连接的n个反卷积...
【专利技术属性】
技术研发人员：陈学台，梁广，黄必众，黄观荣，李钦，钟前辉，黎艺苗，柯明东，陈浩，谢定兵，
申请(专利权)人：广东电网有限责任公司湛江供电局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。