本发明专利技术公开了一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统，包括使用基本特征提取模块和隐编码器对待处理人脸图像进行处理，获得基本特征信息和隐空间风格向量，进一步处理得到空间分布特征信息，对空间分布特征信息和空间分布特征信息分别进行自变换、高频特征增强处理和提取，获得人脸空间分布特征信息和人脸成分纹理特征信息，根据人脸空间分布特征信息和人脸成分纹理特征信息处理得到重建人脸图像等步骤。本发明专利技术提升了重建的人脸在轮廓与内容恢复中的表现，综合了基于卷积神经网络以及基于transformer的人脸超分辨率重建技术的优点，获得精准自然的重建结果，广泛应用于图像处理技术领域。广泛应用于图像处理技术领域。广泛应用于图像处理技术领域。
【技术实现步骤摘要】
一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
[0001]本专利技术涉及图像处理
，尤其是一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统。
技术介绍
[0002]安保视频、智能门禁一体机、修图软件和视频会议等应用场合，经常受到拍摄环境、摄像头性能以及传输带宽等因素的限制，拍摄到的人脸图像质量较低，具体体现为人脸图像的分辨率低、视觉上看起来比较模糊等，这种情况下可以通过对人脸图像进行重建，获得更高分辨率的人脸图像，提高原始人脸图像的质量，有利于进行人脸识别、校验和展示。
[0003]目前人脸图像重建的相关技术，难以获取到人脸的纹理信息并按照人脸独特的空间分布进行排列，因此重建后的人脸图像通常存在着人脸轮廓扭曲变形等现象，导致重建结果不够精准自然。
技术实现思路
[0004]针对目前的人脸图像重建技术存在的重建结果不够精准自然等技术问题，本专利技术的目的在于提供一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统。
[0005]一方面，本专利技术实施例包括一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法，包括：
[0006]获取待处理人脸图像；
[0007]使用基本特征提取模块对所述待处理人脸图像进行处理，获得基本特征信息；
[0008]使用隐编码器对所述待处理人脸图像进行处理，获得隐空间风格向量；
[0009]根据所述基本特征信息和所述隐空间风格向量，处理得到空间分布特征信息；
[0010]对所述空间分布特征信息进行自变换和高频特征增强处理，获得人脸空间分布特征信息；
[0011]对所述空间分布特征信息进行提取，获得人脸成分纹理特征信息；
[0012]根据所述人脸空间分布特征信息和所述人脸成分纹理特征信息，处理得到重建人脸图像。
[0013]进一步地，所述使用基本特征提取模块对所述待处理人脸图像进行处理，获得基本特征信息，包括：
[0014]使用残差网络块组群组成所述基本特征提取模块；
[0015]将所述待处理人脸图像输入至所述基本特征提取模块，获取所述基本特征提取模块输出的浅层特征信息；
[0016]将所述浅层特征信息均分为两组；
[0017]对其中一组所述浅层特征信息进行上采样，获得基本空间分布特征信息；
[0018]对另一组所述浅层特征信息进行上采样，获得基本纹理特征信息；
[0019]以所述基本空间分布特征信息和所述基本纹理特征信息，作为所述基本特征信息。
[0020]进一步地，所述使用隐编码器对所述待处理人脸图像进行处理，获得隐空间风格向量，包括：
[0021]使用2
‑
步长的卷积层、Leaky ReLU激活层和全连接层组成所述隐编码器；
[0022]将所述待处理人脸图像输入至所述隐编码器，获取所述隐编码器输出的所述隐空间风格向量。
[0023]进一步地，所述根据所述基本特征信息和所述隐空间风格向量，处理得到空间分布特征信息，包括：
[0024]将所述基本空间分布特征信息与所述隐空间风格向量进行通道相乘，获得预生成空间分布特征信息；
[0025]将所述基本纹理特征信息与所述隐空间风格向量进行通道相乘，获得预生成纹理特征信息；
[0026]以所述预生成空间分布特征信息和所述预生成纹理特征信息，作为所述空间分布特征信息。
[0027]进一步地，所述对所述空间分布特征信息进行自变换和高频特征增强处理，获得人脸空间分布特征信息，包括：
[0028]将所述预生成空间分布特征信息转换为单词张量；
[0029]将所述单词张量输入至transformer，获取所述transformer输出的待增强特征信息；
[0030]使用池化层、亚像素上采样层和残差网络组群组成高频特征增强模块；
[0031]将所述待增强特征信息输入至所述高频特征增强模块，获取所述高频特征增强模块输出的人脸空间分布特征信息。
[0032]进一步地，所述将所述预生成空间分布特征信息转换为单词张量，包括：
[0033]将所述预生成空间分布特征信息分为若干个大小相同的小块；
[0034]对各所述小块进行线性变换，获得所述单词张量。
[0035]进一步地，所述将所述单词张量输入至transformer，包括：
[0036]通过公式将所述单词张量与对应的权重矩阵P
Q
,P
k
,P
V
相乘，得到所述transformer的队列矩阵Q、键矩阵K和值矩阵V；
[0037]将所述队列矩阵Q、键矩阵K和值矩阵V输入至所述transformer。
[0038]进一步地，所述根据所述人脸空间分布特征信息和所述人脸成分纹理特征信息，处理得到重建人脸图像，包括：
[0039]对所述人脸空间分布特征信息和所述人脸成分纹理特征信息进行结合，获得结合信息；
[0040]使用上采样层和卷积层组成尾部网络；
[0041]将所述结合信息输入至所述尾部网络，获取所述尾部网络输出的所述重建人脸图
像。
[0042]进一步地，所述基于transformer和卷积神经网络联合的人脸超分辨率重建方法，还包括：
[0043]通过公式L
sharp
＝||USM(I
SR
，σ)
‑
USM(I
HR
，σ)||1计算锐化损失；
[0044]根据所述锐化损失进行学习训练。
[0045]另一方面，本专利技术实施例还包括一种基于transformer和卷积神经网络联合的人脸超分辨率重建系统，所述基于transformer和卷积神经网络联合的人脸超分辨率重建系统包括：
[0046]第一模块，用于获取待处理人脸图像；
[0047]第二模块，用于使用基本特征提取模块对所述待处理人脸图像进行处理，获得基本特征信息；
[0048]第三模块，用于使用隐编码器对所述待处理人脸图像进行处理，获得隐空间风格向量；
[0049]第四模块，用于根据所述基本特征信息和所述隐空间风格向量，处理得到空间分布特征信息；
[0050]第五模块，用于对所述空间分布特征信息进行自变换和高频特征增强处理，获得人脸空间分布特征信息；
[0051]第六模块，用于对所述空间分布特征信息进行提取，获得人脸成分纹理特征信息；
[0052]第七模块，用于根据所述人脸空间分布特征信息和所述人脸成分纹理特征信息，处理得到重建人脸图像、
[0053]本专利技术的有益效果是：实施例中的基于transformer和卷积神经网络联合的人脸超分辨率重建方法，分别利用深度学习网络框架transformer和卷积神经网络提取人脸的空间分布特征和纹理特征，并在重建过程中融本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法，其特征在于，所述基于transformer和卷积神经网络联合的人脸超分辨率重建方法包括：获取待处理人脸图像；使用基本特征提取模块对所述待处理人脸图像进行处理，获得基本特征信息；使用隐编码器对所述待处理人脸图像进行处理，获得隐空间风格向量；根据所述基本特征信息和所述隐空间风格向量，处理得到空间分布特征信息；对所述空间分布特征信息进行自变换和高频特征增强处理，获得人脸空间分布特征信息；对所述空间分布特征信息进行提取，获得人脸成分纹理特征信息；根据所述人脸空间分布特征信息和所述人脸成分纹理特征信息，处理得到重建人脸图像。2.根据权利要求1所述的基于transformer和卷积神经网络联合的人脸超分辨率重建方法，其特征在于，所述使用基本特征提取模块对所述待处理人脸图像进行处理，获得基本特征信息，包括：使用残差网络块组群组成所述基本特征提取模块；将所述待处理人脸图像输入至所述基本特征提取模块，获取所述基本特征提取模块输出的浅层特征信息；将所述浅层特征信息均分为两组；对其中一组所述浅层特征信息进行上采样，获得基本空间分布特征信息；对另一组所述浅层特征信息进行上采样，获得基本纹理特征信息；以所述基本空间分布特征信息和所述基本纹理特征信息，作为所述基本特征信息。3.根据权利要求2所述的基于transformer和卷积神经网络联合的人脸超分辨率重建方法，其特征在于，所述使用隐编码器对所述待处理人脸图像进行处理，获得隐空间风格向量，包括：使用2
‑
步长的卷积层、Leaky ReLU激活层和全连接层组成所述隐编码器；将所述待处理人脸图像输入至所述隐编码器，获取所述隐编码器输出的所述隐空间风格向量。4.根据权利要求3所述的基于transformer和卷积神经网络联合的人脸超分辨率重建方法，其特征在于，所述根据所述基本特征信息和所述隐空间风格向量，处理得到空间分布特征信息，包括：将所述基本空间分布特征信息与所述隐空间风格向量进行通道相乘，获得预生成空间分布特征信息；将所述基本纹理特征信息与所述隐空间风格向量进行通道相乘，获得预生成纹理特征信息；以所述预生成空间分布特征信息和所述预生成纹理特征信息，作为所述空间分布特征信息。5.根据权利要求4所述的基于transformer和卷积神经网络联合的人脸超分辨率重建方法，其特征在于，所述对所述空间分布特征信息进行自变换和高频特征增强处理，获得人脸空间分布特征信息，包括：
将所述预生成空间分布特征信息转换为单词张量；将所述单词张量输入至transformer，获取所述transformer输出的待增强特征信息；使用池化层、亚像素上采样层和残差网络组群组成高频特征增强模块；将...
【专利技术属性】
技术研发人员：金枝，齐浩然，邱钰苇，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。