基于轻量级的多尺度特征人脸融合方法技术

本发明专利技术涉及一种基于轻量级网络的多尺度人脸特征融合方法，用以填补人脸特征级融合数据集的空白，以及提高融合人脸的生成效率和质量。包括下列步骤：1)在公开人脸数据集CelebA上通过双目测距的方法选取正脸图像，将选取到的图像按6:2:2的比例划分成训练集、验证集和测试集；2)对数据集的人脸进行预处理，首先统一尺寸，并且利用Dlib库确定人脸，保证图像的大部分都是有用的人脸信息；3)将训练集输入到多尺度特征融合的轻量级网络中，获得训练好的能在特征级别进行人脸融合的模型；4)在验证集上进行调整，获得效果最好的模型超参数，再将测试集的人脸图像输入到训练好的模型之中，得到最终的特征融合人脸图像。本发明专利技术首先采用了多特征的方式在特征级别上进行人脸融合，再使用端到端的轻量级学习模型生成融合人脸，这既有效地加强了参与融合的特征的强度，也大大削减了模型参数，提高了融合的效率，很适合实际的特征级人脸融合数据集的建造。的特征级人脸融合数据集的建造。

【技术实现步骤摘要】
基于轻量级的多尺度特征人脸融合方法


[0001]本专利技术涉及人脸融合攻击领域，涉及一种基于轻量级的多尺度特征人脸融合方法。

技术介绍

[0002]人脸识别技术在近年的发展十分迅猛，并且在实际应用中已经成熟。但在过去的几年里，研究人员指出了生物识别系统存在各种潜在弱点。目前，自动或半自动生物特征识别的使用已成为现实。因此，此类系统中的攻击数量有所增加。最常见的生物特征攻击之一是表示攻击(PA)，因为它相对容易执行。关于生物特征攻击，近两年兴起的人脸融合攻击是最具威胁性的攻击之一，因为现有的身份验证系统通常无法正确检测它们。在这种攻击中，通过两个不同人脸图像(真人和罪犯)的融合生成假脸，图像结果存储在身份系统中。在人脸识别系统应执行识别任务的情况下，这些攻击可能会产生危险情况。值得高兴的是，现有的检测方法众多，并且在非公开的数据集上都取得了很好的正确率。但这些非公开的数据集大多都是在像素级上进行融合操作的，其中的完全融合甚至无法遮掩肉眼可鉴别的阴影的存在，视觉效果很差，基于传统的手工提取特征的方法完全能够轻松地取得高正确率。并且，像素级融合的操作复杂，需要先确定图像中人脸的标志点，通过三角剖分和仿射变换之后需要给定融合因子才能进行融合，所以后续对特征级融合的检测工作很难展开，从而本研究工作提出了一种基于轻量级的多尺度特征人脸融合的方法。这项技术能通过两张真实人脸创建一个特征级融合人脸数据集。
[0003]为了支持特征级人脸融合攻击的检测工作，人脸特征融合数据集成为一个亟待解决的问题。最近的基于深度学习方法使用预先训练的CNN架构提取多尺度特征来进行人脸融合。

技术实现思路

[0004]针对任务目的，本专利技术提供一种基于轻量级的多尺度人脸特征融合方法。其特征在于：利用人脸公开数据集CelebA获取正面人脸图像，构造数据集，再提取多尺度人脸特征进行融合，通过HourglassNet和SqueezeNet优化而成的轻量级网络有效生成融合人脸。所述方法由包括以下步骤：
[0005]步骤1；在CelebA中利用双目与鼻子最上标测距方法选择正面人脸图像组成人脸融合数据集，并按6:2:2的比例划分为训练集、验证集和测试集；
[0006]步骤2：对数据集进行预处理，将所有图像统一尺寸，并归一化处理；
[0007]步骤3；将训练集数据两两一组输入构建好的网络，在多尺度上提取人脸特征并进行融合，最后生成有效的融合人脸图像；
[0008]步骤4：只使用模型测试模块，在验证集上调整模型超参数，使得在训练集上和验证集上取得最佳效果；
[0009]步骤5：在测试集上进行测试，观察测试结果，根据结果对模型进行调试，在测试集
上取得有效结果后保存模型并保存所有融合人脸。本专利技术提供了一种轻量级的多尺度特征级人脸融合的方法。与现有人脸融合数据集相比，具备以下有益效果：
[0010]本方案采用轻量级网络，模型的参数量少，在保证精度的情况下运行速度快，极高地提升了效率；另外，在多尺度上进行融合可以加强特征量，提高融合人脸与参与者人脸的身份相似性；在特征级上进行融合可以避免伪影的出现，在视觉效果上取得真实可信度。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是Hourglass中的SqueezeBlock；
[0013]图2是特征级人脸融合的轻量级整体网络。
具体实施方式
[0014]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0015]下面结合说明书附图以及具体的实施方式对本专利技术作详细说明。轻量级网络模块的设计如图1所示，而图2所示为整体流程，包括步骤1～5：
[0016]步骤1：在CelebA中利用双目与鼻子最上标测距方法选择正面人脸图像组成人脸融合数据集，并按6:2:2的比例划分为训练集、验证集和测试集；
[0017]步骤2：对数据集进行预处理，将所有图像统一尺寸，并归一化处理；
[0018]步骤3：将训练集数据两两一组输入构建好的网络，在多尺度上提取人脸特征并进行融合，最后生成有效的融合人脸图像；
[0019]步骤4：只使用模型测试模块，在验证集上调整模型超参数，使得在训练集上和验证集上取得最佳效果；
[0020]步骤5：在测试集上进行测试，观察测试结果，根据结果对模型进行调试，在测试集上取得有效结果后保存模型并保存所有融合人脸。下面对各个步骤进行详细描述。
[0021]在步骤1中，在人脸公开数据集CelebA中，因为数据集种不完全是正面人脸图像，所以，通过计算两眼与鼻子的上坐标的距离来过滤掉所有非正面图像，并将筛选出来的人脸图像按照6:2:2的比例划分为训练、验证和测试集；
[0022]在步骤2中，先利用dlib库确定所有图像中人脸的位置，并进行裁剪，减少图像中人脸范围外的空白区域，并裁剪为统一的128
×
128
×
3尺寸，在数值上归一化为[
‑
1,1]；
[0023]在步骤3中，训练集中的图片两两一组，输入网络中，先进行下采样，在下采样的过程中，保存每一个尺度的特征图，并两两求和，作为融合人脸的特征图，融合得到的特征图分一路不作下采样，作为当前尺度的特征图的副本保存另一路进行下采样，加入到在下一个尺度融合人脸特征中。在提取完所有尺度上的特征后，逐个进行上采样，之前在每个尺度
保存的特征图副本也输入进来，直到输出达到指定尺寸；
[0024]在步骤4中，在验证集上调整学习率、批次数、损失权重等超参数，使得在验证集上的效果达到最好；
[0025]在步骤5中，在测试集上完成测试，检验模型的泛化性，并将所有融合人脸收集起来，作为特征级人脸融合图像数据集。
[0026]本专利技术实施本专利技术提出了一种基于轻量级的多尺度人脸特征融合方法，创新点包括：
[0027]提出了一种基于轻量级的多尺度人脸特征融合方法。该方法利用在多尺度上进行人脸特征融合，制造一个可供人脸特征融合检测工作研究的数据集，并且采用轻量级网络的方式实现，大大减少了模型参数量，模型运行速度快，提高了制造效率。
[0028]以上所述仅为本专利技术的优选实施例，并非因此限制本专利技术的专利范围，凡是在本专利技术的专利技术构思下，利用本专利技术说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的
均包括在本专利技术的专利保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级的多尺度人脸特征融合方法。其特征在于：利用人脸公开数据集CelebA获取正面人脸图像，构造数据集，再提取多尺度人脸特征进行融合，通过HourglassNet和SqueezeNet优化而成的轻量级网络有效生成融合人脸。所述方法由包括以下步骤：步骤1；在CelebA中利用双目与鼻子最上标测距方法选择正面人脸图像组成人脸融合数据集，并按6:2:2的比例划分为训练集、验证集和测试集；步骤2：对数据集进行预处理，将所有图像统一尺寸，并归一化处理；步骤3；将训练集数据两两一组输入构建好的网络，在多尺度上提取人脸特征并进行融合，最后生成有效的融合人脸图像；步骤4：只使用模型测试模块，在验证集上调整模型超参数，使得在训练集上和验证集上取得最佳效果；步骤5：在测试集上进行测试，观察测试结果，根据结果对模型进行调试，在测试集上取得有效结果后保存模型并保存所有融合人脸。2.根据权利要求1所述的基于轻量级的多尺度人脸特征融合的方法，其特征在于，在步骤3中，使用网络提取多尺度人脸特征进行融合，以此加强融合人脸的身份特征，保证融合的有效性；首先，将训练集的人脸图像两两一组，分别同时输入网络，经过共享参数的新型轻量级网络模块，提取多尺度人脸身份特征；模块以Hourglass网络为基础框架，每一个输入分成两路处理，第一条不作处理，作为当前输入的副本保留；另一条路线作下采样处理，整个网络以中心对称的结构呈现，在后续的上采样中，在对称的尺度上与相同尺度的输入副本元素逐个相加，以此最大限度地保留融合参与者的身份特征信息，增多融合特征信息，提高融合人脸质量。另外，以SqueezeBlock替代ResBlock作为Hourglass的下采样基本部件，首先减少输入的通道数，再将输出分为两路，两路利用...

【专利技术属性】
技术研发人员：王威，龙敏，高兆锋，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：