一种热力图感知的金字塔人脸超分辨率网络制造技术

本发明专利技术公开了一种热力图感知的金字塔人脸超分辨率网络，属于人脸图像超分辨率技术领域。本发明专利技术设计了一种新颖的热力图感知卷积，该卷积可以针对人脸图像中不同区域生成空间变化的卷积核，从而有效地提高了重建性能。此外，为了恢复具有更好视觉质量和更饱满人脸细节的SR结果，采用了对抗损失和感知损失来微调模型。本发明专利技术充分利用了人脸结构的先验知识，在视觉效果和客观评价方面都达到了最先进的性能。性能。性能。

【技术实现步骤摘要】
一种热力图感知的金字塔人脸超分辨率网络


[0001]本专利技术涉及一种热力图感知的金字塔人脸超分辨率网络，属于人脸超分辨率


技术介绍

[0002]人脸超分辨率(FSR)，也称为人脸幻觉，是一种从相应的低分辨率(LR)图像中恢复高分辨率(HR)脸部图像的技术。由于照相机的限制或较差的摄影环境，所捕获的人脸图像始终是低质量和LR的。因此，FSR通常被作为一种后处理算法引入，以打破上述限制，并且已被证明在许多应用中是有效的，例如视频监控和与人脸相关的计算机视觉任务，例如人脸属性编辑，人脸识别，人脸属性分析等。
[0003]近年来，人脸图像超分辨率问题吸引了很多学者的注意，许多深度学习人脸超分辨率方法被提出。通常，深度学习人脸超分辨率方法可分为两大类：一般人脸超分辨率方法和先验信息指导的人脸超分辨率方法。
[0004]一般人脸超分辨率方法致力于为人脸超分辨率任务设计有效的网络结构。早期，学者们主要设计基于卷积神经网络，和生成对抗网络的人脸超分辨率方法来恢复出高质量的人脸图像。然而，不同于丰富多样的自然图像，人脸图像的核心是人脸，是一种具有较强结构信息的图像，单单设计各式各样的网络结构而忽视如此强的结构先验很难恢复出清晰的人脸图像。因此，学者们转向对先验信息的探索，先验信息指导的人脸超分辨率方法应运而生。
[0005]先验信息指导的人脸超分辨率方法现已成为主流人脸超分辨率技术。早期阶段，学者从LR估计出人脸先验，然后再利用估计的先验去促进后续的超分辨率过程。然而由于LR的质量较差，准确的先验估计极其困难，从而影响了后续的重建。接着学者们先对LR图像进行一步粗略的重建以提升质量，再从一次超分后的结果提取先验信息，最后利用先验信息促进下一次重建。尽管取得了较大的突破，但是现有方法仍然存在缺陷。人脸图像的不同区域之间存在较大的差异，不同的区域需要不同的恢复方法。而现有方法均将带有空间共享卷积核的卷积应用在不同的区域，这将导致重要人脸细节的缺失。

技术实现思路

[0006]本专利技术的目的在于提出一种热力图感知的金字塔人脸超分辨率网络，以解决现有技术中存在的问题。
[0007]一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，所述构建方法包括：
[0008]建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，
[0009]构建双分支金字塔面超分辨率网络，所述双分支人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB，
[0010]首先，将低分辨率人脸图像I
LR
送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征F
c
，
[0011]F
c
＝f
CFEM
(I
LR
)，
[0012]其中，f
CFEM
表示CFEM函数，所述函数f
CFEM
由一个卷积层和几个残差块ResBlock组成，然后将提取的特征F
c
同时馈入超分辨率分支SRB和热力图估计分支HEB，
[0013]所述超分辨率分支SRB和热力图估计分支HEB分别将特征F
c
传递给一个残差块ResBlock，以获得适合人脸超分辨率和热力图估计任务的特征F1和H1，之后，将特征F1和H1馈送到双分支人脸超分辨率网络中的两个分支中，所述两个分支均是金字塔体系结构，该金字塔体系结构一共包括三个步骤，每个步骤都共享相同的操作，令l＝1，2，3表示步骤，令特征F
l
和H
l
分别为超分辨率分支SRB和热力图估计分支HEB的特征，包括以下过程
[0014]为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将特征F
l
和H
l
馈入热力图感知块HaB，
[0015]A
l
＝f
HaB
(F
l
，H
l
)，
[0016]其中f
HaB
表示HaB函数，A
l
则是带有空间变化卷积核的卷积生成的特征，接着，特征A
l
和H
l
被传递到后面的层，生成下一步的特征，
[0017][0018][0019]其中和分别表示SRB和HEB中由残差块ResBlock和上采样Upsamble Block组成的RU函数，F
l+1
和H
l+1
则是l+1步的特征，与此同时，F
l+1
还被用于生成第l歩的中间结果，
[0020]I
l
＝f
Conv
(F
l+1
)，l＝1，2，3，
[0021]其中f
Conv
表示卷积操作，I
l
是第l步的中间结果，
[0022]建立一种自适应权重学习策略，表示为：
[0023][0024]其中
↑
s
表示用Bicubic上采样
×
s倍，α是自适应权重学习策略的可学习权重，
[0025]经过三步，对热力图特征H4进行了卷积运算，得到了最终的热力图H
Rec
，
[0026]利用像素损失和热力图损失定义如下：
[0027][0028][0029]其中I
GT
和H
GT
是高质量人脸图像和热力图的参考标准。
[0030]进一步的，所述HaB是进行过改进的，即将HaConv嵌入到HaB中，具体的，
[0031]给定SRB中名为F
l
的特征和HEB中名为H
l
的特征，HaB首先使用两个不同的标准卷积层将它们映射到同一空间，
[0032][0033][0034]其中和是两个卷积层的输出，将F
l
和H
l
映射到同一空间后，下一步使用带有空间变化卷积核的卷积，
[0035]标准卷积：首先，使用卷积核W和输入特征来进行标准卷积的过程为：
[0036][0037]其中表示和以(x，y)为中心的块，*代表卷积操作，而V
l
(x，y)则表示卷积生成的V
l
中以(x，y)为中心的向量，
[0038]热力图感知卷积：利用热力图信息生成空间变化卷积核的HaConv，首先，我们从中提取与卷积核W相同大小的块，即然后利用该块生成空间变化的卷积核，先计算块中其他像素与中心像素之间相似性矩阵，
[0039][0040]其中M为相似度矩阵，Ω(x，y)代表卷积窗口，接着根据相似度矩阵，生成自适应的卷积核，
[0041][0042]其中K
l
[x，y]即为以(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，所述构建方法包括：建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，构建双分支金字塔面超分辨率网络，所述双分支人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB，首先，将低分辨率人脸图像I
LR
送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征F
c
，F
c
＝f
CFEM
(I
LR
)，其中，f
CFEM
表示CFEM函数，所述函数f
CFEM
由一个卷积层和几个残差块ResBlock组成，然后将提取的特征F
c
同时馈入超分辨率分支SRB和热力图估计分支HEB，所述超分辨率分支SRB和热力图估计分支HEB分别将特征F
c
传递给一个残差块ResBlock，以获得适合人脸超分辨率和热力图估计任务的特征F1和H1，之后，将特征F1和H1馈送到双分支人脸超分辨率网络中的两个分支中，所述两个分支均是金字塔体系结构，该金字塔体系结构一共包括三个步骤，每个步骤都共享相同的操作，令l＝1，2，3表示步骤，令特征F
l
和H
l
分别为超分辨率分支SRB和热力图估计分支HEB的特征，包括以下过程为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将特征F
l
和H
l
馈入热力图感知块HaB，A
l
＝f
HaB
(F
l
，H
l
)，其中f
HaB
表示HaB函数，A
l
则是带有空间变化卷积核的卷积生成的特征，接着，特征A
l
和H
l
被传递到后面的层，生成下一步的特征，步的特征，其中和分别表示SRB和HEB中由残差块ResBlock和上采样Upsamble Block组成的RU函数，F
l+1
和H
l+1
则是l+1步的特征，与此同时，F
l+1
还被用于生成第l步的中间结果，I
l
＝f
Conv
(F
l+1
)，l＝1，2，3，其中f
Conv
表示卷积操作，I
l
是第l步的中间结果，建立一种自适应权重学...

【专利技术属性】
技术研发人员：江俊君，王晨阳，刘贤明，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：