一种基于生成对抗网络的病态人脸数据增强方法技术

本发明专利技术公开了一种基于生成对抗网络的病态人脸数据增强方法，包括获取病态人脸图像和健康态人脸图像并构建训练集；设计生成对抗网络模型，利用特征提取模块对输出图像病态程度进行自定义控制；将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。本发明专利技术解决了在缺少成对病态人脸图像的条件下病态人脸图像的自动增强生成，生成的病态人脸图像的病态特征更加清晰，视觉效果理想，为人脸图像的健康分析工作提供了足够多的样本数据。

【技术实现步骤摘要】
一种基于生成对抗网络的病态人脸数据增强方法
本专利技术涉及图像到图像翻译方法
，特别涉及一种基于生成对抗网络的病态人脸数据增强方法。
技术介绍
近年来，人脸识别技术获得了长足进步，并越来越多地应用到健康医学领域。在中医诊断学中，某些面部特征如脸色、眼睛、嘴唇等能反映人体器官可能存在的病变和异常。我们通过计算机视觉技术从人脸图像上提取检测病态的细微特征如黑眼圈、痤疮、面色等可用于人体的健康状态评估和亚健康分析，所开发的系统作为一种健康监测工具应用于公共卫生设施以及家庭日常保健，具有极其广泛的应用前景。现有技术的不足之处在于，由于人脸图像较为隐私，又牵涉到医疗行为部分，因此用于健康医学领域的公开人脸数据资源甚少，大规模采集病态人脸数据难度较大，需要耗费大量人力与物力。同时常规的人脸数据集应用于基于人脸病态特征检测识别任务中效果并不理想，自拍相机的美颜功能/化妆修饰、图片分辨率低等一些问题使得面部细微病态特征如黑眼圈、痤疮等不明显，给人脸细微特征检测识别带来不小的困难，人脸数据存在类别严重不均衡的过采样问题。
技术实现思路
本专利技术的目的克服现有技术存在的不足，以对存在病态人脸数据严重不足的问题进行解决。为实现以上目的，采用一种基于生成对抗网络的病态人脸数据增强方法，以解决上述
技术介绍
中提出的问题。一种基于生成对抗网络的病态人脸数据增强方法，包括：S1、获取病态人脸图像和健康态人脸图像并构建训练集；S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。作为本专利技术的进一步的方案：所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。作为本专利技术的进一步的方案：所述S2设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。作为本专利技术的进一步的方案：所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。所述步骤S23在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数的具体步骤包括：利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提取到的人脸内在特征提取出两个特征矩阵；将迁移后的图像特征图输入到输出分支的下采样卷积模块最终生成图像；源图像特征图迁移后的图像特征图的公式为：Vx’＝(αΓx+(1-α)Γy)Vx+(αBx+(1-α)By)；其中，为源图像特征图，Vx’为图像特征图，C、H、W分别表示通道数以及特征图的高和宽，系数α用于控制生成图像所迁移病态特征的病态程度，和表示源图像的特征矩阵沿着通道数重复扩展的特征张量，和表示病态图像的特征矩阵沿着通道数重复扩展的特征张量。作为本专利技术的进一步的方案：所述掩膜控制模块采用PSPNet语义分割网络，通过对输入的人脸图像进行分割得到人脸掩膜M＝FP(x)表示各面部区域，所述各面部区域包括皮肤病皮损迁移的面部皮肤区域、眼部区域以及与病态特征无关的其他区域。作为本专利技术的进一步的方案：所述损失函数包括判别网络DX和DY的损失函数，公式分别为：其中，X和Y分别为健康态人脸源图像数据域和病态人脸图像数据域，x和y分别为两个数据域的样本，x～pdata(x)，y～pdata(y)为数据域满足的分布。作为本专利技术的进一步的方案：所述损失函数包括生成网络的损失函数，所述生成网络的损失函数等于对抗性损失、感知损失、循环一致损失和直方图损失的加权和；其中，对抗性损失函数公式为：感知损失函数公式为：循环一致损失函数公式为：直方图损失函数公式为：其中，和分别为判别网络DX和DY的对抗性损失函数，Fl()表示输入图像和生成图像经过训练的输出特征图，L2为测量输入图像和生成图像之间差异的损失，L1为对重构图像进行约束的损失，λf和λe为权重，和分别为生成图像G(x，y)面部皮肤区域和眼部区域的二元掩膜，和分别表示病态人脸图像y面部皮肤区域和眼部区域的二元掩膜，和分别为生成图像G(x，y)和病态人脸图像y在面部皮肤区域和眼部区域上的直方图匹配。作为本专利技术的进一步的方案：所述步骤S3的具体步骤包括：将训练集中的健康态人脸源图像和病态人脸图像输入到生成网络中，得到重构图像；再将重构图像与真实的病态人脸图像输入到判别网络，将判别信息反向传递到生成网络。作为本专利技术的进一步的方案：所述步骤S4的具体步骤包括：对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐；根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像，将所述人脸图像和病态人脸图像作为网络的输入，合成增强后的病态人脸图像。与现有技术相比，本专利技术存在以下技术效果：通过采用上述的技术方案，采用建立掩膜控制模块以及具有直方图损失的加权型损失函数，将输入图像面部局部细微的病态特征成功迁移到待增强的人脸源图像上，同时保留人脸源本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，包括：/nS1、获取病态人脸图像和健康态人脸图像并构建训练集；/nS2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；/nS3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；/nS4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。/n

【技术特征摘要】
1.一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，包括：
S1、获取病态人脸图像和健康态人脸图像并构建训练集；
S2、设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制；
S3、将所述训练集输入生成对抗网络模型中进行训练，并调整参数优化生成对抗网络模型；
S4、将任意一张待处理的人脸源图像和任意一张病态人脸图像输入到所述优化后的生成对抗网络模型，将病态人脸图像的病态特征关键点迁移到人脸源图像上，合成为增强后的病态人脸图像。


2.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S1获取病态人脸图像和健康态人脸图像并构建训练集的具体步骤包括：
S11、获取互联网中人脸图像数据，并删除分辨率低、光照条件差的人脸图像数据；
S12、根据人脸图像数据，筛选出病态人脸图像数据集和健康态人脸图像数据集，并构建病态人脸图像数据集；
S13、对病态人脸图像数据集中的所有人脸图像进行关键点检测，以人脸关键点进行人脸对齐，并根据两眼的人脸关键点位置将图像转化为尺寸归一化的人脸图像。


3.根据权利要求1所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述S2设计生成对抗网络模型，利用加入生成对抗网络模型中的特征提取模块对输出图像病态程度进行自定义控制的具体步骤包括：
S21、设计生成对抗网络模型，生成对抗网络模型的生成网络采用双输入输出架构，将两个输入分支的输出特征图进行融合，再将融合后的特征图输出到若干个瓶颈残差结构，经过两个独立的反卷积网络上采样最终得到生成图像，所述输入分支包括下采样卷积模块和瓶颈残差结构，所述输出分支包括上采样反卷积模块和瓶颈残差结构；
S22、利用两个判别网络用于区分生成图像和真实图像，网络输入为一张健康态人脸源图像和一张病态人脸图像，输出的人脸图像与病态图像具有相同的病态特征，同时仍保留源图像的主体信息；
S23、在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数。


4.根据权利要求3所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述下采样卷积模块包含3个卷积层，其卷积核的大小分别为7×7、4×4、4×4，所述输入分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3，所述上采样卷积模块包含2个反卷积层和1个卷积层，其卷积核的大小分别为4×4、4×4、7×7，所述输出分支的瓶颈残差结构包含3个瓶颈层，其卷积核的大小均为3×3。


5.根据权利要求3所述一种基于生成对抗网络的病态人脸数据增强方法，其特征在于，所述步骤S23在生成网络的输入分支中加入特征提取模块，对生成图像的病态程度进行自定义控制，采用掩膜控制模块对人脸局部区域进行病态特征迁移，实现生成对抗网络模型的损失函数的具体步骤包括：
利用特征提取模块分别将两个输入分支的输出特征图送入到两个1×1的卷积层，用于将输入分支提...

【专利技术属性】
技术研发人员：陈雷，胡金雨，袁媛，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽;34