基于空间特征变换和跨尺度特征集成的人脸超分辨方法技术

本发明专利技术公开了一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法，具体按照如下步骤实施：预处理人脸图像，得到训练集和测试集，将预处理后的人脸图像进行处理生成语义分割概率图；构建用于训练的生成对抗网络模型；将训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛，将测试集中的人脸图像输入训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。本发明专利技术的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，解决了现有技术中存在的现有方法忽略了重建的人脸图像中纹理细节的问题。法忽略了重建的人脸图像中纹理细节的问题。法忽略了重建的人脸图像中纹理细节的问题。

【技术实现步骤摘要】
基于空间特征变换和跨尺度特征集成的人脸超分辨方法


[0001]本专利技术属于人脸图像识别
，涉及一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法。

技术介绍

[0002]现有与人脸相关的任务,如人脸识别、人脸对齐、表情识别和三维人脸重建等都是基于清晰的高分辨率人脸数据集实现的,在面对低分辨人脸图像时,效果出现明显下降.因此,人脸超分辨技术在计算机视觉和生物识别领域显得尤其重要。此外，受传统数字成像设备的固有限制，所获得的人脸图像往往经过了光学模糊、欠采样等一系列退化过程，最终难以获得视觉感官上较清晰的图像。图像超分辨技术作为一种有效的图像恢复手段，能有效克服因为成像设备物理分辨率限制和光学模糊等导致图像分辨率低的问题。
[0003]人脸超分辨率方法大致分为两类:基于经典机器学习算法的传统方法和基于卷积神经网络的深度学习方法。其中，基于深度学习的超分辨方法因其优越的重建性能而获得人们广泛关注。然而，现有的人脸图像超分辨率算法大多数只关注16
×
16像素的“微小脸”超分辨重建，即也称为“人脸幻象”，而忽略了实际应用中常见的“较小脸”如64
×
64像素的人脸图像重建；也正因如此，这些方法所获得的结果图像往往只能满足人脸检测任务，而并不能使其与真实人脸保持身份一致性。另外，这些方法往往追求很高的峰值信噪比和结构相似性，而忽略了重建的人脸图像中纹理细节是否满足人眼对视觉感知质量的要求。

技术实现思路

[0004]本专利技术的目的是提供一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法，解决了现有技术中存在的现有方法忽略了重建的人脸图像中纹理细节的问题。
[0005]本专利技术所采用的技术方案是，基于空间特征变换和跨尺度特征集成的人脸超分辨方法，具体按照如下步骤实施：
[0006]步骤1，从人脸数据集中随机选取N张人脸图像，然后对人脸图像进行预处理，生成训练集和测试集；
[0007]步骤2，采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，将步骤1预处理后的人脸图像进行处理生成语义分割概率图；
[0008]步骤3，构建用于训练的生成对抗网络模型，生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块，跨尺度特征集成模块内引入图像上采样的亚像素卷积层，生成对抗网络模型引入对抗损失函数和感知损失函数；
[0009]步骤4，将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛；
[0010]步骤5，将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。
[0011]步骤1中的人脸数据集为CelebA-HQ人脸数据集。
[0012]步骤1中对训练集中的人脸图像进行预处理具体为：采用双立方插值算法对训练集中的图像进行下采样，输出尺寸为512
×
512的插值图像I
HR
，作为训练集和测试集的目标图像，然后将插值图像I
HR
采用双立方插值下采样4倍至64
×
64作为训练和测试输入图像I
LR
；然后将输入图像I
LR
采用双立方插值上采样4倍至256
×
256作为语义分割网络输入图像I
S
。
[0013]步骤2具体为：
[0014]采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，修改人脸解析预训练模型BisNet的输出层，具体为：在人脸解析预训练模型BisNet的输出层加入softmax函数，将步骤1得到的语义分割网络输入图像I
S
作为输入输入到修改后的人脸解析预训练模型BisNet中，输出为语义概率，将语义概率输出结果保存为.pth文件，即Pytorch模型文件，得到语义分割概率图I
Seg
。
[0015]步骤4具体为：
[0016]步骤4.1，设置训练参数，将训练和测试输入图像I
LR
、训练集和测试集的目标图像I
HR
和语义分割概率图I
Seg
加载网络输入端，即就是语义分割概率图中间条件生成模块的输入端，语义分割概率图中间条件生成模块将输入的语义分割概率图I
Seg
进行处理，生成语义信息中间条件Ψ；
[0017]步骤4.2，语义分割概率图中间条件生成模块将训练和测试输入图像I
LR
经过一层卷积生成特征图，作为前层特征图；
[0018]步骤4.3，前层特征图和语义信息中间条件Ψ作为空间特征变换模块的输入，空间特征变换模块输出特征图F1；
[0019]步骤4.4，将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征，然后将不同尺度特征输入至融合输出模块，得到超分辨图像，记为I
SR
；
[0020]步骤4.5，将超分辨图像I
SR
和对应的插值图像I
HR
输入判别器D
η
，将判别信息反向传输至生成对抗网络模型，即就是生成器G
θ
；
[0021]步骤4.6，不断迭代步骤4.4-4.5，使得对抗损失和感知损失的总和达到最小，然后将对应的参数作为训练好的模型参数，得到训练好的生成对抗网络模型。
[0022]语义分割概率图中间条件生成模块包括依次连接的五个卷积层，第一个卷积层的输入通道数为19，输出通道数为128，卷积核大小为4
×
4，卷积步长为4，修正线性单元的负值非零斜率为0.1；第二个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1
×
1，卷积步长为4，修正线性单元的负值非零斜率为0.1；第三个卷积层输入通道数为128，输出通道数为128，卷积核大小为1
×
1，卷积步长为1，修正线性单元的负值非零斜率为0.1，第四个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1
×
1，卷积步长为1；最后再用一个卷积层的输入通道数为128，输出通道数为32，卷积核大小为1
×
1，卷积步长为1，最后再用一个卷积层输出包含语义信息的中间条件记为Ψ；
[0023]空间特征变换模块由8个带有空间特征变换层的残差单元组成，每个残差单元由空间特征变换层、卷积层、非线性激活层构成。
[0024]步骤4.4中将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征具体为：
[0025]输出特征图F1在跨尺度集成模块中首先经过一个卷积层对维数升高4倍，再经过亚像素卷积对输出特征图F1进行上采样2倍得到特征图F2；同时输出特征图F1通过双立方插值放大2倍后与特征图F2进行通道上的融合，得到特征图F3_1，并向后传递；并且将特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，具体按照如下步骤实施：步骤1，从人脸数据集中随机选取N张人脸图像，然后对人脸图像进行预处理，生成训练集和测试集；步骤2，采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，将步骤1预处理后的人脸图像进行处理生成语义分割概率图；步骤3，构建用于训练的生成对抗网络模型，所述生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块，所述跨尺度特征集成模块内引入图像上采样的亚像素卷积层，所述生成对抗网络模型引入对抗损失函数和感知损失函数；步骤4，将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛；步骤5，将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。2.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤1中的人脸数据集为CelebA-HQ人脸数据集。3.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤1中对训练集中的人脸图像进行预处理具体为：采用双立方插值算法对训练集中的图像进行下采样，输出尺寸为512
×
512的插值图像I
HR
，作为训练集和测试集的目标图像，然后将插值图像I
HR
采用双立方插值下采样4倍至64
×
64作为训练和测试输入图像I
LR
；然后将输入图像I
LR
采用双立方插值上采样4倍至256
×
256作为语义分割网络输入图像I
S
。4.根据权利要求3所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤2具体为：采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，修改人脸解析预训练模型BisNet的输出层，具体为：在人脸解析预训练模型BisNet的输出层加入softmax函数，将步骤1得到的语义分割网络输入图像I
S
作为输入输入到修改后的人脸解析预训练模型BisNet中，输出为语义概率，将语义概率输出结果保存为.pth文件，即Pytorch模型文件，得到语义分割概率图I
Seg
。5.根据权利要求4所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤4具体为：步骤4.1，设置训练参数，将训练和测试输入图像I
LR
、训练集和测试集的目标图像I
HR
和语义分割概率图I
Seg
加载网络输入端，即就是语义分割概率图中间条件生成模块的输入端，所述语义分割概率图中间条件生成模块将输入的语义分割概率图I
Seg
进行处理，生成语义信息中间条件Ψ；步骤4.2，语义分割概率图中间条件生成模块将训练和测试输入图像I
LR
经过一层卷积生成特征图，作为前层特征图；步骤4.3，前层特征图和语义信息中间条件Ψ作为空间特征变换模块的输入，空间特征变换模块输出特征图F1；
步骤4.4，将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征，然后将不同尺度特征输入至融合输出模块，得到超分辨图像，记为I
SR
；步骤4.5，将超分辨图像I
SR
和对应的插值图像I
HR
输入判别器D
η
，将判别信息反向传输至生成对抗网络模型，即就是生成器G
θ
；步骤4.6，不断迭代步骤4.4-4.5，使得对抗损失和感知损失的总和达到最小，然后将对应的参数作为训练好的模型参数，得到训练好的生成对抗网络模型。6.根据权利要求5所...

【专利技术属性】
技术研发人员：张凯兵，庄诚，李敏奇，景军锋，卢健，刘薇，陈小改，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：