多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法技术方案

本发明专利技术公开了一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法，涉及图像复原技术领域。本系统是：低分辨率人脸图像（A）、初级特征提取与上采样模块（10）、多阶特征循环增强与上采样模块（20）、残差人脸生成模块（30）、加法器模块（50）和高分辨率人脸图像（B）依次交互；低分辨率人脸图像（A）、初始人脸超分辨率模块（40）和加法器模块（50）依次交互。本方法是：

【技术实现步骤摘要】
多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法


[0001]本专利技术涉及图像复原
，尤其涉及一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法；即是一种基于深度循环卷积网络，利用人脸结构先验与特征反馈增强的渐进高倍人脸图像超分辨率系统及其方法。

技术介绍

[0002]人脸图像超分辨率也称为人脸幻象，旨在利用数值计算方法对低分辨率人脸图像进行高分辨率重建，其对有效解决低分辨率人脸图像分析与人脸识别问题具有重要意义。近年来，随着深度学习理论在图像分类识别领域的成功应用，基于深度网络的人脸图像超分辨率方法研究也得到广泛关注。【参见文献：[1]S.Zhu,S.Liu,C.C.Loy and X.Tang,"Deep cascaded bi-network for face hallucination",Proc.Eur.Conf.Comput.Vis.(ECCV),pp.614-630,2016；[2]X.Xu,D.Sun,J.Pan,Y.Zhang,H.Pfister and M.-H.Yang,"Learning to super-resolve blurry face and text images",Proc.IEEE Int.Conf.Comput.Vis.(ICCV),pp.251-260,Oct.2017；[3]N.Ahn,B.Kang and K.-A.Sohn,"Fast accurate and lightweight super-resolution with cascading residual network",Proc.Eur.Conf.Comput.Vis.(ECCV),pp.252-268,Sep.2018】。
[0003]人脸超分辨率不完全同于一般自然图像的超分辨率。如何充分利用人脸图像独有的先验信息，对于提升人脸图像的超分辨率性能会产生重大的影响。虽然获取清晰人脸图像的先验信息可能是比较容易的，但是在图像分辨率低，图像较模糊时要得到人脸的重要先验信息，以用于改善超分辨率性能将会十分受限，特别对于高倍放大时显得更是具有很大的挑战性。【参见文献：[4]Y.Chen,Y.Tai,X.Liu,C.Shen,and J.Yang,“Fsrnet:End-to-end learning face super-resolution with facial priors,”in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018,pp.2492
–
2501；[5]K.Grm,W.J.Scheirer and V."Face Hallucination Using Cascaded Super-Resolution and Identity Priors,"in IEEE Transactions on Image Processing,vol.29,pp.2150-2165,2020】。

技术实现思路

[0004]本专利技术的目的就在于克服上述
技术介绍
的不足，提供一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法。本专利技术是一种基于循环卷积网络，特征迭代增强与人脸结构先验融合的渐进高倍人脸图像超分辨率系统及其方法，通过引入反馈机制，对提取的深度人脸特征和人脸结构特征进行迭代增强，有效改善了低分辨率人脸图像的高倍放大图像质量。
[0005]本专利技术的目的是这样实现的：
[0006]本专利技术的技术思路是：
[0007]首先采用初级的卷积神经网络对输入的低分辨率人脸图像进行特征变换与上采
样，得到初始的2倍放大的人脸特征表示；然后，利用多阶级联的循环卷积网络，迭代增强人脸图像的深度特征表示并进行维度的逐级放大；然后利用单层卷积网络对高倍放大的人脸深度特征表示进行变换，得到高倍放大的人脸残差图像；最后，利用双线性插值方法生成高倍放大人脸图像的估计值，并与高倍放大的人脸残差图像进行相加运算，得到高质量的高倍放大人脸图像。本专利技术通过采用多阶特征循环增强与上采样技术有效改进高倍放大网络的特征提取能力，并通过引入多尺度损失监督网络训练，保障了低分辨率人脸图像的高倍超分辨率重构质量。
[0008]本专利技术的技术方案是：
[0009]一、多阶特征循环增强的渐进高倍人脸超分辨率系统(简称系统)
[0010]本系统包括低分辨率人脸图像和高分辨率人脸图像，设置有初级特征提取与上采样模块、多阶特征循环增强与上采样模块、残差人脸生成模块、初始人脸超分辨率模块、加法器模块；
[0011]其交互关系是：低分辨率人脸图像、初级特征提取与上采样模块、多阶特征循环增强与上采样模块、残差人脸生成模块、加法器模块和高分辨率人脸图像依次交互；
[0012]低分辨率人脸图像、初始人脸超分辨率模块和加法器模块依次交互；
[0013]所述的初级特征提取与上采样模块对输入的低分辨率人脸图像A进行多层卷积运算，产生维度放大2倍的特征表示F0；
[0014]所述的多阶特征循环增强与上采样模块包括依次交互的第1、2
…
N特征循环增强与上采样单元21、22
…
2N，N设定为2用于8倍因子的超分辨率；
[0015]所述的残差人脸生成模块接收多阶特征循环增强与上采样模块的输出，通过卷积运算，生成高倍放大人脸图像的残差图像；
[0016]所述的初始人脸超分辨率模块接收输入的低分辨率人脸图像，采样经典的双线性插值算法，生成高倍放大的人脸图像的估计值；
[0017]所述的加法器模块接收残差人脸生成模块和初始人脸超分辨率模块的输出，通过加法运算，生成高分辨率人脸图像输出。
[0018]二、多阶特征循环增强的渐进高倍人脸超分辨率方法(简称方法)
[0019]本方法包括下列步骤：
[0020]①
初级特征提取与上采样
[0021]初级特征提取与上采样模块接收输入的低分辨率人脸图像，采用多层卷积神经网络，生成低分辨率人脸图像的维度2倍放大的特征表示F0；
[0022]②
多阶特征循环增强与上采样；
[0023]③
残差人脸生成
[0024]残差人脸生成模块接收多阶特征循环增强与上采样模块的输出F
N
，通过单层卷积运算生成残差人脸图像；
[0025]④
初始人脸超分辨率
[0026]初始人脸超分辨率模块，接收输入的低分辨率人脸图像，采用经典的双线性插值方法，生成高倍放大的高分辨率人脸图像的初始估计值；
[0027]⑤
高分辨人脸生成
[0028]加法器模块接收初始人脸超分辨率模块和残差人脸生成模块的输出，通过相加运
算，生成最终的高倍放大的高分辨率人脸图像。
[0029]工作机理：
[0030]本专利技术的实现总体分为两个阶段：第一阶段，采用初级特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多阶特征循环增强的渐进高倍人脸超分辨率系统，其特征在于：包括低分辨率人脸图像（A）和高分辨率人脸图像（B），设置有初级特征提取与上采样模块（10）、多阶特征循环增强与上采样模块（20）、残差人脸生成模块（30）、初始人脸超分辨率模块（40）、加法器模块（50）；其交互关系是：低分辨率人脸图像（A）、初级特征提取与上采样模块（10）、多阶特征循环增强与上采样模块（20）、残差人脸生成模块（30）、加法器模块（50）和高分辨率人脸图像（B）依次交互；低分辨率人脸图像（A）、初始人脸超分辨率模块（40）和加法器模块（50）依次交互；所述的初级特征提取与上采样模块（10）对输入的低分辨率人脸图像（A）进行多层卷积运算，产生维度放大2倍的特征表示F0；所述的多阶特征循环增强与上采样模块（20）包括依次交互的第1、2
…
N特征循环增强与上采样单元21、22
…
2N，N设定为2用于8倍因子的超分辨率；所述的残差人脸生成模块（30）接收多阶特征循环增强与上采样模块（20）的输出，通过卷积运算，生成高倍放大人脸图像的残差图像；所述的初始人脸超分辨率模块（40）接收输入的低分辨率人脸图像（A），采样经典的双线性插值算法，生成高倍放大的人脸图像的估计值；所述的加法器模块（50）接收残差人脸生成模块（30）和初始人脸超分辨率模块（40）的输出，通过加法运算，生成高分辨率人脸图像（B）输出。2.按权利要求1所述的渐进高倍人脸超分辨率系统，其特征在于：所述的初级特征提取与上采样模块（10）其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出结果按同样次序进行排列。3.按权利要求1所述的渐进高倍人脸超分辨率系统，其特征在于：所述的多阶特征循环增强与上采样模块（20）的工作流程是：A、多阶特征循环增强与上采样模块（20）内的第1特征循环增强与上采样单元（21），接收初级特征提取与上采样模块（20）输出的特征表示F0，通过第1特征融合单元（201）卷积网络对输入的特征表示F0和第2特征融合单元（...

【专利技术属性】
技术研发人员：高志荣，熊承义，柳霜，施晓迪，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：