基于注意力机制的人脸图像超分辨率网络模型及处理方法技术

本申请提供基于注意力机制的人脸图像超分辨率模型及处理方法，本申请提供的模型从输入端至输出端包括粗糙重建网络以及精细重建网络；以及分别与两者相连接的语义分割网络。其中，精细重建网络包括依次相连接的3

【技术实现步骤摘要】
基于注意力机制的人脸图像超分辨率网络模型及处理方法


[0001]本申请涉及图像处理
，特别涉及基于注意力机制的人脸图像超分辨率网络模型及处理方法。

技术介绍

[0002]图像的分辨率是评估图片的质量时，必不可少的一项指标。数字图像分辨率指图像单位英寸内所含的像素点的数量，分辨率越高的图像所含的像素点就越多，所含的细节信息就越丰富，图像的清晰度也就越高。
[0003]随着人们对图像质量的需求日益增长，提高图像的分辨率成为图像处理领域的研究热点。图像的分辨率不仅在硬件层面上受到各种采集设备的CCD、CMOS等感光元器件视场的限制，还会受到采集距离、光照角度、设备老化等因素的影响，采集到的图像可能并不理想；而在图像的传输过程中，还时常会为了传输速率等因素对图像进行压缩，在这些过程中图像信息的损失在所难免。所以如果只通过提升硬件采集设备，来提高采集到的图像质量并不足以解决现存问题，且往往耗费巨大的人力物力以及时间成本，事倍功半。
[0004]人脸是人类识别个体身份最重要的生物特征之一，在监控安防、刑事侦查等领域都具有广泛的应用场景。因此，对人脸的识别是图像处理领域内的重要课题。仅在硬件层面提升人脸图像的分辨率已力不胜任，人们开始聚焦于在软件算法层面提升人脸图像的分辨率。近年来随着深度学习的飞速发展，图像超分辨技术又上了一个新的台阶。人脸图像与通用图像不同的是，人脸图像具有其独特的对称性、全局结构相似性与个体细节差异性。现有的图像超分辨率重建技术虽然可以用于解决人脸图像分辨率低的问题，在复杂场景下，重建网络无法区别人脸与背景的主次信息，在高倍放大因子下常出现图像失真、高频纹理丢失、五官模糊等问题。

技术实现思路

[0005]本申请提供了基于注意力机制的人脸图像超分辨率网络模型及处理方法，可用于解决复杂场景下，重建网络无法区别人脸与背景的主次信息的技术问题。
[0006]第一方面，本申请实施例提供基于注意力机制的人脸图像超分辨率网络模型，所述模型从输入端至输出端包括粗糙重建网络以及精细重建网络；以及分别与两者相连接的语义分割网络。
[0007]结合第一方面，在第一方面的一种可实现方式中，所述粗糙重建网络包括四个计算单元；
[0008]其中，第一计算单元是一个3
×
3的卷积层；
[0009]第二计算单元包括依次连接的多个混合注意力模块和一个3
×
3的卷积层以及连接第一计算单元输出与第二计算单元输出的长跳跃连接；
[0010]第三计算单元包括依次连接的3
×
3的卷积层和元素重新排列层组成的图像上采样层；
[0011]第四计算单元是一个3
×
3的卷积层；
[0012]所述粗糙重建网络的执行方法如下：
[0013]Y1＝Conv(I
LR
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0014]Y
i+1
＝f
MAM
(Y
i
),i＝1,2,
……
,N
ꢀꢀꢀꢀꢀꢀ
(2)
[0015]Y
N+2
＝Y1+Conv(Y
N+1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0016]Y
N+3
＝Conv(Y
N+2
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]Y
N+4
＝PixelShuffle(Y
N+3
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0018]I
SR(1)
＝Conv(Y
N+4
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0019]式中，I
LR
表示粗糙重建网络输入的低分辨率图像，粗糙重建网络输出的图像为I
SR(1)
，Y
i
表示第i个特征图，Conv(
·
)代表卷积核为3
×
3像素的卷积操作，f
MAM
(
·
)代表混合注意力模块，N表示粗糙重建网络混合注意力模块的个数，PixelShuffle(Y
N+3
)表示像素重组操作。
[0020]结合第一方面，在第一方面的一种可实现方式中，所述语义分割网络为U字型，左边依次包括一个3
×
3卷积层、17个倒残差模块与一个3
×
3卷积层；右边解码部分包括4个反卷积层与4个倒残差模块；其中，每一反卷积层后连接一个倒残差模块；
[0021]左边与右边对应尺寸的图像特征图上还设置有跳跃连接，所述跳跃连接通过通道拼接；所述语义分割网络的执行方法如下：
[0022]I
Seg
＝Seg(I
SR(1)
) (7)
[0023][0024]式中，I
SR(1)
为语义分割网络的输入图像，I
Seg
为分割模板，I
SR
'为输出图像，Seg(
·
)代表人脸语义分割，表示为哈达玛积。
[0025]结合第一方面，在第一方面的一种可实现方式中，所述精细重建网络包括依次相连接的3
×
3卷积层、多个混合注意力模块以及3
×
3卷积层，所述精细重建网络还包括一条从精细重建网络输入到最后一层3
×
3卷积层的输出的全局跳跃连接；
[0026]所述精细重建网络的执行方法如下：
[0027]Z1＝Conv(I
SR
')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0028]Z
i+1
＝f
MAM
(Z
i
),i＝1,2,
……
,K
ꢀꢀꢀꢀꢀ
(10)
[0029]I
SR
＝Z1+Conv(Z
K+1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0030]式中，I
SR
'表示精细超分辨率网络的输入图像，输出的图像为I
SR
，Z表示图像的第i个特征图，Conv(
·
)表示代表卷积核为3
×
3像素的卷积操作，f
MAM
(
·
)代表混合注意力模块，K表示精细重建网络的混合注意力模块的个数。
[0031]结合第一方面，在第一方面的一种可实现方式中，所述混合注意力模块从输入至输出依次包括多个RAS模块和一个3
×
3卷积层，并包括一条从混合注意力模块的输入到最后一个3
×
3卷积层的输出的跳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的人脸图像超分辨率模型，其特征在于，所述模型从输入端至输出端包括粗糙重建网络以及精细重建网络；以及分别与两者相连接的语义分割网络。2.根据权利要求1所述的模型，其特征在于，所述粗糙重建网络包括四个计算单元；其中，第一计算单元是一个3
×
3的卷积层；第二计算单元包括依次连接的多个混合注意力模块和一个3
×
3的卷积层以及连接第一计算单元输出与第二计算单元输出的长跳跃连接；第三计算单元包括依次连接的3
×
3的卷积层和元素重新排列层组成的图像上采样层；第四计算单元是一个3
×
3的卷积层；所述粗糙重建网络的执行方法如下：Y1＝Conv(I
LR
)
ꢀꢀꢀ
(1)Y
i+1
＝f
MAM
(Y
i
),i＝1,2,
……
,N
ꢀꢀꢀ
(2)Y
N+2
＝Y1+Conv(Y
N+1
)
ꢀꢀꢀ
(3)Y
N+3
＝Conv(Y
N+2
)
ꢀꢀꢀ
(4)Y
N+4
＝PixelShuffle(Y
N+3
)
ꢀꢀꢀ
(5)I
SR(1)
＝Conv(Y
N+4
)
ꢀꢀꢀ
(6)式中，I
LR
表示粗糙重建网络输入的低分辨率图像，粗糙重建网络输出的图像为I
SR(1)
，Y
i
表示第i个特征图，Conv(
·
)代表卷积核为3
×
3像素的卷积操作，f
MAM
(
·
)代表混合注意力模块，N表示粗糙重建网络混合注意力模块的个数，PixelShuffle(Y
N+3
)表示像素重组操作。3.根据权利要求1所述的模型，其特征在于，所述语义分割网络为U字型，左边依次包括一个3
×
3卷积层、17个倒残差模块与一个3
×
3卷积层；右边解码部分包括4个反卷积层与4个倒残差模块；其中，每一反卷积层后连接一个倒残差模块；左边与右边对应尺寸的图像特征图上还设置有跳跃连接，所述跳跃连接通过通道拼接；所述语义分割网络的执行方法如下：I
Seg
＝Seg(I
SR(1)
)
ꢀꢀꢀ
(7)式中，I
SR(1)
为语义分割网络的输入图像，I
Seg
为分割模板，I
SR
'为输出图像，Seg(
·
)代表人脸语义分割，ο表示为哈达玛积。4.根据权利要求1所述的模型，其特征在于，所述精细重建网络包括依次相连接的3
×
3卷积层、多个混合注意力模块以及3
×
3卷积层，所述精细重建网络还包括一条从精细重建网络输入到最后一层3
×
3卷积层的输出的全局跳跃连接；所述精细重建网络的执行方法如下：Z1＝Conv(I
SR
')
ꢀꢀꢀ
(9)Z
i+1
＝f
MAM
(Z
i
),i＝1,2,
……
,K (10)I
SR
＝Z1+Conv(Z
K+1
)
ꢀꢀꢀ
(11)式中，I
SR
'表示精细超分辨率网络的输入...

【专利技术属性】
技术研发人员：王清华，刘腾鸥，宋旸，来建成，李振华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：