人脸超分辨率重构方法技术

本发明专利技术公开了一种人脸超分辨重构方法，首先获取包含低分辨率人脸图像和超分辨率人脸图像的人脸图像样本，然后构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，根据人脸关键点先验信息采用注意力机制，迭代处理获取低分辨率人脸图像特征，从而生成超分辨率人脸图像；采用人脸图像样本对人脸超分辨率重构网络进行训练，然后将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，生成超分辨率人脸图像。本发明专利技术基于SRFBN网络进行改进，引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度，以便进一步提高人脸识别性能。以便进一步提高人脸识别性能。以便进一步提高人脸识别性能。

【技术实现步骤摘要】
人脸超分辨率重构方法


[0001]本专利技术属于人脸识别
，更为具体地讲，涉及一种人脸超分辨率重构方法。

技术介绍

[0002]人脸属于生物体征，具有不易改变性及个体差异性。人脸识别技术已经广泛的应用于交通、医疗、金融等行业，实现了火车站进站核验系统，天眼系统，支付宝刷脸支付，手机面部解锁等诸多功能，为人们的工作和生活提供了诸多便利。
[0003]人脸识别技术自上个世纪六十年代诞生以来，经过多年的发展已经趋于成熟。然而，现有的人脸识别算法大多是基于约束环境下的识别，即采集的人脸必须符合以下多种条件：人脸区域清晰，图像分辨率足够高，背景干净，表情正常，姿态统一，没有严重的面部遮挡等；一旦脱离了约束环境，现有模型的识别精度会出现大幅度的下降。尤其是上述条件中人脸区域清晰，图像分辨率足够高这两个约束条件，在目前使用的监控摄像头，高速公路摄像头，街景闭路电视等场景中是无法满足的，这些设备采集到的人脸图像分辨率非常低，加之图像噪声影响及人员移动带来的运动模糊，现有模型是无法直接从中识别人员身份的。此问题极大的限制了人脸识别技术在安防领域的进一步应用，利用街景摄像头识别可疑人员身份，协助搜捕逃犯等重大工作无法顺利开展。对低分辨率人脸进行识别，是一个非常具有挑战性的任务，也是亟待解决的学术问题。
[0004]得益于深度学习技术的发展，针对低分辨率图像进行重构修复的超分辨率算法也日益成熟。算法能将低分辨率图像转化为高分辨率图像，并在转化过程中实现最小化附加视觉伪影的效果，因此能有效的应用于上述任务中。更进一步，人脸超分辨率(Face Super Resolution，FSR)算法，是自然图像超分辨率(SR) 算法在人脸图像这一特定领域的推广。人脸超分辨率任务的特殊性在于：首先，与普通图像的超分辨率不同，人脸图像拥有其本身的特殊结构，因此需要使用人脸的特有先验知识来进行辅助和约束，才能还原出更准确的人脸信息；其次，重构出的人脸图像必须可供其他的高级视觉任务使用：如人脸识别，人脸检测等，否则的话重构工作是无效的。
[0005]在传统超分辨率方法发展的很长的一段时间里，已经有部分学者对人脸超分辨率进行过尝试和研究：Liu将低分辨率(LR)人脸图像作为字典，对应线性组合的方式获得重建图像。Hu和Lam等人从局部像素结构的角度出发，提出了全局超分辨率方法，即对于一张LR人脸，先在样本集中寻找与其差异性较小的图像，这些图像对应有高分辨率图像，将其中的局部像素结构作为先验知识，来预期高分样本，达到增强效果。Liu等人使用基于主成分分析(PCA)的全局外观模型，先产生粗糙的SR人脸，再通过局部的非参数模型对细节进行增强。这些方法虽然取得一定的重建效果，但总体计算量较大，面对大规模的人脸数据库时训练耗费时间长，且当人脸姿态发生一定变化后，便不能取得理想的结果。
[0006]近年来，基于深度学习的方法在各种计算机视觉任务中，都取得了显著进展，人脸超分辨率算法也包含于其中。因此，目前的主要研究也更加关注基于深度学习的方法。考虑到人脸超分辨率任务的特殊性，许多研究者提出了不少适配人脸的、利用了面部先验的FSR
网络。Yu等人引入了一种基于判别生成网络的URDGN，将对抗生成网络应用到了小尺寸人脸中，并尝试将网络中间的特征与面部成分热图直接相连，取得了一定的生成效果。Chen等人提出了FSRNet，这是第一个端到端的人脸超分辨率网络，FSRNet在进行一个粗略超分辨率的步骤后，提取了人脸关键点图、人脸热图和面部成分解析图，将多种先验信息与后续网络直接连接使用，指导了超分辨率重构过程。Kim等人则同样利用人脸关键点图、人脸热图，构建出面部注意力损失，并使用它来训练出一个渐进式的生成器，同样重构出了较好质量的人脸。
[0007]然而，以上的人脸超分辨率算法虽然取得了一定效果，但关于该领域的研究还存在不足，并主要分为以下几点：(1)人脸先验知识的估计往往采用低分辨率或粗糙的超分辨率图像估计，这样难以估计出准确的先验，对超分辨率的指导也会造成错误；(2)多数网络对于先验知识，采用了简单的拼接操作，先验知识的利用效率不高；(3)部分网络使用基于分类网络的感知损失来获取一定的视觉质量，而忽略了对人脸身份信息的恢复，导致重构后的人脸依然不能识别出正确身份，重构工作失效。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的不足，提供一种人脸超分辨率重构方法，基于SRFBN网络进行改进，引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度，以便进一步提高人脸识别性能。
[0009]为了实现上述专利技术目的，本专利技术人脸超分辨率重构方法包括以下步骤：
[0010]S1：根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像；
[0011]S2：构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，其中：
[0012]超分辨率重构主网络包括低分辨率特征提取器G
f
、递归模块G
Rec
、高分辨率生成层G
up
、上采样模块和人脸关键点先验信息估计模块，其中：
[0013]低分辨率特征提取器G
f
用于对输入的LR人脸图像I
LR
进行特征提取，将得到特征图G
f
(I
LR
)发送至递归模块G
Rec
；
[0014]递归模块G
Rec
接收特征图G
f
(I
LR
)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点L
n
‑1，二是上一轮中递归模块G
Rec
的输出特征然后处理得到本轮的输出特征图并发送至高分辨率生成层G
up
；递归模块G
Rec
包括反馈信息融合模块、1
×
1卷积层、注意力融合模块和循环SR 模块，其中：
[0015]反馈信息串联模块将输入的特征图G
f
(I
LR
)与循环SR模块反馈的上一轮输出的特征图进行通道串联，其中将得到串联后的特征图f
n1
发送至1
×
1卷积层；
[0016]1×
1卷积层用于对输入的特征图进行1
×
1卷积操作，将迭代次数n＝1时，将卷积后的特征图f
12
发送至循环SR模块，当迭代次数n＝2,3,
…
,N时，将卷积后的特征图f
n2
发送至注意力融合模块；
[0017]注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像L
n
‑1，基于空间注意力机制对输入的特征图fn2进行处理，将得到的特征图发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸超分辨率重构方法，其特征在于，包括以下步骤：S1：根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像；S2：构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，其中：超分辨率重构主网络包括低分辨率特征提取器G
f
、递归模块G
Rec
、高分辨率生成层G
up
、上采样模块和人脸关键点先验信息估计模块，其中：低分辨率特征提取器G
f
用于对输入的LR人脸图像I
LR
进行特征提取，将得到特征图G
f
(I
LR
)发送至递归模块G
Rec
；递归模块G
Rec
接收特征图G
f
(I
LR
)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点L
n
‑1，二是上一轮中递归模块G
Rec
的输出特征然后处理得到本轮的输出特征图并发送至高分辨率生成层G
up
；递归模块G
Rec
包括反馈信息融合模块、1
×
1卷积层、注意力融合模块和循环SR模块，其中：反馈信息串联模块将输入的特征图G
f
(I
LR
)与循环SR模块反馈的上一轮输出的特征图进行通道串联，其中将得到串联后的特征图发送至1
×
1卷积层；1
×
1卷积层用于对输入的特征图进行1
×
1卷积操作，将迭代次数n＝1时，将卷积后的特征图f
12
发送至循环SR模块，当迭代次数n＝2,3,
…
,N时，将卷积后的特征图发送至注意力融合模块；注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像L
n
‑1，基于空间注意力机制对输入的特征图进行处理，将得到的特征图发送至循环SR模块；注意力融合模块包括面部组件注意力图生成模块、P个卷积层、P个先验信息融合模块和特征融合模块，其中：面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像L
n
‑1生成面部组件的组件热图然后发送至对应先验信息融合模块，组件热图的生成方法为：将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到P个关键点集合，P表示预设的面部组件的数量，根据各个关键点集合生成对应的组件热图然后对得到的每个组件热图使用softmax函数，将组件热图转换成相应的组件注意力图并发送至先验信息融合模块；每个卷积层分别对特征图进行卷积得到特征图并发送至对应的先验信息融合模块；每个先验信息融合模块将接收到的特征图和组件注意力图H
n
‑1(p)进行对应像素相乘得到特征图然后发送至特征融合模块；特征融合模块将接收到的P个特征图进行叠加得到特征图并发送至循环SR模
块；循环SR模块采用SRFBN网络中循环SR模块的结构，用于对接收到的特征图进行进一步特征提取，将得到的特征图发送至高分辨率生成层G
up
，并反馈至反馈信息串联模块；高分辨率生成层G
up
用于根据输入的特征图生成SR人脸图像并发送至SR人脸图像融合模块；上采样模块用于对输入的LR人脸图像I
LR
进行上采样，得到目标分辨率的人脸图像U(I
LR
)并发送SR人脸图像融合模块；SR人脸图像融合模块用于将接收到的图像和图像U(I
LR
)进行叠加，得到SR人脸图像并发送至先验信息估计网络，将第N个迭代轮次得到的SR人脸图像作为输入的LR人脸图像I
LR
对应的生成超分辨率SR人脸图像I
SR
进行输出；人脸关键点先验信息估计网络用于对SR人脸图像进行人脸关键点信息提取，得到人脸关键点图像L
n
并反馈至注意力融合模块；S3：将步骤S1中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练；S4：将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。2.根据权利要求1所述的人脸超分辨率重构方法，其特征在于，所述步骤S2中低分辨率特征提取器G
f
包括3
×
3卷积层和亚像素卷积层，其中3
×
3卷积层用于对输...

【专利技术属性】
技术研发人员：于力，冼文灏，何建，邹见效，徐红兵，
申请(专利权)人：宜宾电子科技大学研究院，
类型：发明
国别省市：