【技术实现步骤摘要】
本专利技术属于计算机视觉人脸超分辨率领域，具体涉及一种基于多阶段增强框架的渐进式人脸超分辨率计算方法。
技术介绍
1、智慧城市已成为城市管理中的重要趋势，基于监控视频识别个人身份信息是其关键基础。然而，由于成像环境和角度限制，捕获的面部图像通常具有有限的分辨率。面部超分辨率(fsr)，也称为面部幻觉技术，可以从输入低分辨率(lr)图像(或多帧)重建出潜在高分辨率(hr)图像。fsr技术用于有效提高图像的分辨率和质量，这可以改善基于图像内容的视觉任务性能，例如人脸检测、人脸识别和视频监控，可以获得期望的结果。
2、基于卷积神经网络(cnn)的快速发展，各种基于深度学习的图像超分辨率(sr)方法已被提出，并获得了比传统浅层学习方法更优秀的主观和客观重建性能。dong等人首次将三层cnn引入到sr任务领域中，可以构建lr和hr图像之间的端到端映射。yu等人应用生成对抗网络(gan)进行fsr任务，以生成具有更高信息密度的重建图像，这也意味着更生动的视觉效果。随后，zhang等人引入了注意机制，进一步提高了神经网络的表示能力并增强了单幅图像sr性能。最近，kim等人提出了一种边缘和身份保护网络，利用轻量级边缘块和身份信息来最小化重建图像中的失真。此外，wang等人提出了一种新颖的多粒度金字塔注意力网络，充分利用多粒度感知和注意机制来增强重建图像质量。
3、yang等人引入了一种具有新颖感知损失函数的判别性增强生成对抗fsr框架，可以在保留训练梯度的同时重建面部细节。chen等人通过利用从粗糙sr图像提取的面部几何
技术实现思路
1、本专利技术的目的在于，提供一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，优化并且提高人脸超分辨率图像的保真度。
2、为解决上述技术问题，本专利技术的技术方案为：一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，包括以下步骤：
3、s1、构建人脸超分辨率数据集：对人脸高分辨率图像进行下采样得到低分辨率的目标图像，对目标图像进行分块操作得到分块图像，将分块图像统合形成人脸超分辨率数据集；
4、s2、构建双边回归路径：构建用于对低分辨率图像通过级联残差组学习形成超分辨率图像的先验信息分布的低分辨率图像lr至超分辨率图像sr回归路径lr-＞sr，构建用于探索超分辨率图像重建的特殊先验信息的超分辨率图像sr至低分辨率图像lr回归路径sr-＞lr；
5、s3、构建注意力残差组：将非池化通道注意力机制、非池化空间注意力机制和像素增强注意力机制均模块化后融合，形成特征融合模块affb，将若干个特征融合模块affb堆叠形成注意力残差组affg，用于提取分块图像中多个维度的特征以及扩展卷积层的视野；
6、s4、构建双边回归路径约束：根据l1范式约束，分别构建lr-＞sr中×2与×4累加的约束与sr-＞lr的×2与lr的约束，用于优化重建图像的效果；
7、s5、构建特征聚合上采样模块：构建像素打乱和亚像素卷积，通过自注意力聚集特征图中更多像素的特征以聚合图像的高频细节信息，再构建通道dropout与卷积，用于降低自注意力中冗余的细节信息，得到具有高频细节信息的超分辨率图像；
8、s6、构造双边回归人脸超分辨率网络：融合双边回归路径、注意力残差组和双边回归路径约束，形成双边回归人脸超分辨率网络，将分块图像输入双边回归人脸超分辨率网络中，输出人脸超分辨率图像。
9、s2中低分辨率图像lr至超分辨率图像sr回归路径lr-＞sr表示为：
10、
11、其中，为第i个特征图，i为执行次数，i∈{1,2…,n}；haffg(·)表示为特征融合组，其包含若干个注意力特征融合模块affb；和分别表示为上采样操作和人脸超分辨率上采样尺度；
12、构建超分辨率图像sr至低分辨率图像lr回归路径sr-＞lr以限制低分辨率图像lr至超分辨率图像sr回归路径lr-＞sr的解空间，其表示为：
13、
14、其中，为人脸低分辨率图像，表示×2i倍的人脸重建图像，表示为leakyrelu激活函数；解释为人脸高分辨率图像经过卷积、leakyrelu和卷积下采样得到人脸低分辨率图像
15、s3中非池化通道注意力机制的计算公式表示为：
16、mcna＝ζ(conv(δ(conv(xh×w×c))))
17、
18、其中，conv(·)为3×3卷积，ζ和δ分别表示为sigmoid和relu激活函数，xh×w×c表示为输入的张量，mcna为注意力分数图，fcna为非池化通道注意力输出的特征。
19、s3中非池化空间注意力机制的计算公式表示为：
20、
21、其中，fsna表示为非池化空间注意力输出的特征，表示为逐元素乘法，表示为1×1卷积，fgroup表示为分组卷积。
22、s4中结合l1范式约束，通过添加损失函数优化重建图像；其中，lr-＞sr的损失函数定义为：
23、
24、其中，llr→sr为lr-＞sr的损失函数，n表示为上采样因子，表示×2i倍的人脸重建图像，表示为与相同分辨率的高分辨率图像；
25、sr-＞lr的损失函数定义为：
26、
27、其中,lsr→lr表示为sr-＞lr回归路径的损失函数，是通过经过下采样生成的人脸低分辨率图像；
28、双边回归路径的损失函数ltotal表示为：
29、ltotal＝llr→sr+λlsr→lr
30、其中，λ表示为损失函数参数。
31、s5中自注意力的计算公式为：
32、
33、其中，attention(q,k,v)表示为通过自注意力机制求得的注意力特征图；q为查询，k为键，v为值，均为经过像素打乱得到的特征；
34、softmax(·)为softmax函数，用于求出注意力分布得分，dl表示为通道数，t表示为转置。
35、s5中通道dropout与卷积公式为：
36、f(x)＝dropout2d(conv(attention(q,k,v)))
37、其中，dropout2d(·)为通道dropout，f(x)为输出的高频信息图。
38、s1中下采样的方法为：本文档来自技高网...
【技术保护点】
1.一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S2中低分辨率图像LR至超分辨率图像SR回归路径LR-＞SR表示为：
3.根据权利要求2所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S3中非池化通道注意力机制的计算公式表示为：
4.根据权利要求3所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S3中非池化空间注意力机制的计算公式表示为：
5.根据权利要求2所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S4中结合L1范式约束，通过添加损失函数优化重建图像；其中，LR-＞SR的损失函数定义为：
6.根据权利要求4所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S5中自注意力的计算公式为：
7.根据权利要求6所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S5中通道Dropout与
8.根据权利要求1所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，S1中下采样的方法为：通过双三次插值法对人脸数据集CelebA、FFHQ、LFW图片和bicubic进行下采样处理。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，s2中低分辨率图像lr至超分辨率图像sr回归路径lr-＞sr表示为：
3.根据权利要求2所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，s3中非池化通道注意力机制的计算公式表示为：
4.根据权利要求3所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，s3中非池化空间注意力机制的计算公式表示为：
5.根据权利要求2所述的一种基于多阶段增强框架的渐进式人脸超分辨率计算方法，其特征在于，s4中结合l1范式约束，通过添加损失函数优化重建图像；其中，lr-＞sr的损失函数定义为：
6.根据权利要求4所述的一种基...
【专利技术属性】
技术研发人员：卢涛，陈智韬，王伊依，汪家明，张彦铎，张文凯，鲁振东，李清清，胡记伟，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。