面对不同损伤图像的超分辨率高清重建方法和系统及设备技术方案

本发明专利技术提供了一种面对不同损伤图像的超分辨率高清重建方法和系统及智能设备、介质，包括：超分增强步骤：对原始图像进行损伤去除和超分辨增强；人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。本发明专利技术使用基于深度神经网络的结构，在去噪、去模糊、去伪影的同时实现图像的超分辨率放大重建，并重点针对图像中的人脸提供了基于编解码修复和生成对抗网络的人脸增强模型，以进一步提升图像中人脸的质量。提升图像中人脸的质量。提升图像中人脸的质量。

【技术实现步骤摘要】
面对不同损伤图像的超分辨率高清重建方法和系统及设备


[0001]本专利技术涉及数字图像处理领域，具体地，涉及面对不同损伤图像的超分辨率高清重建方法和系统。

技术介绍

[0002]超分辨率技术(Super
‑
Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像。现有技术中主要有两类技术方案。第一类技术方案未考虑到人脸识别的特殊性问题，例如文献Real
‑
ESRGAN：Training Real
‑
World BlindSuper
‑
Resolution with Pure Synthetic Data，在人脸增强和人脸超分的问题上会引入明显的失真；其仅针对超分问题，不能在原分辨率对图像进行增强。第二类技术方案不能适用于图像中的非人脸部分，例如文献Towards Real
‑
World BlindFace Restorat ion with Generative Facial Prior，仅针对人脸增强，不能处理图像中非人脸的部分。
[0003]此外，申请号为202011207247.2的专利文献，公开了一种多阶特征循环增强的渐进高倍人脸超分辨率系统及其方法：低分辨率人脸图像(A)、初级特征提取与上采样模块(10)、多阶特征循环增强与上采样模块(20)、残差人脸生成模块(30)、加法器模块(50)和高分辨率人脸图像(B)依次交互；低分辨率人脸图像(A)、初始人脸超分辨率模块(40)和加法器模块(50)依次交互。申请号为202010204393.3 的专利文献，采用条件增强生成对抗网络，用于人脸草图合成；所述条件增强生成对抗网络由三个相互交互的子网络组成；所述三个子网络为用于基本人脸草图合成的跨模态转换网络、用于改进人脸草图合成的单模态优化网络、用于增强人脸草图风格的感知损失网络；条件增强生成对抗网络旨在从第一阶段子网和原始照片/图像中继承更多有关基本人脸草图的视觉信息，并探索更多有效的视觉内容，以解决在高分辨率人脸草图生成过程中丢失的细节视觉表达和图像草图之间的关联性问题。但是超分增加与人脸增强两者叠加之后的最终效果仍然有待提高。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种面对不同损伤图像的超分辨率高清重建方法和系统。
[0005]根据本专利技术提供的一种面对不同损伤图像的超分辨率高清重建方法，包括：
[0006]超分增强步骤：对原始图像进行损伤去除和超分辨增强；
[0007]人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。
[0008]优选地，在所述超分增强步骤中：
[0009]建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；
[0010]建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；
[0011]生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；
[0012]生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的通用增强超分模型，其中，所述通用增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；
[0013]利用所述通用增强超分模型，对原始图像进行损伤去除和超分辨增强。
[0014]优选地，在所述人脸增强步骤中：
[0015]预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；
[0016]建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；
[0017]将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；
[0018]将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强。
[0019]优选地，人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；
[0020]将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：
[0021][0022]L
rec
表示重构损失；
[0023]λ
L1
表示权重；
[0024]表示生成的人脸增强图像；
[0025]y表示真实高质量图像；
[0026]λ
per
表示权重；
[0027]表示生成的人脸增强图像的VGG
‑
19特征；
[0028]φ(y)表示真实高质量图像的VGG
‑
19特征；
[0029]||
·
||1表示计算L1损失；
[0030]第一项计算生成图像与真实高质量图像的L1损失，第二项计算生成图像与真实高质量图像在VGG
‑
19特征域上的L1感知损失；
[0031]对抗损失函数公式如下：
[0032][0033]L
adv
表示对抗损失；
[0034]λ
adv
表示对抗损失的权重；
[0035]表示数学期望，其中x服从p
data
(x)分布；
[0036]x表示待修复的人脸图片；
[0037]p
data
(x)表示待修复人脸图片的数据分布；
[0038]D(
·
)表示鉴别器；
[0039]G(
·
)表示人脸增强模型；
[0040]身份特征损失公式如下：
[0041][0042]L
id
表示身份特征损失；
[0043]λ
id
表示身份特征损失的权重；
[0044]η(
·
)表示预训练的人脸识别特征提取器；
[0045]计算人脸识别特征的余弦相似度替代L1损失；
[0046]人脸局部器官损失公式如下：
[0047][0048]L
comp
表示人脸局部器官损失；
[0049]ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；
[0050]λ
local
表示局部器官对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面对不同损伤图像的超分辨率高清重建方法，其特征在于，包括：超分增强步骤：对原始图像进行损伤去除和超分辨增强；人脸增强步骤：对超分增强步骤处理后的图像进行人脸增强，得到重建图像。2.根据权利要求1所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，在所述超分增强步骤中：建立超分辨率网络模型，使用面向峰值信噪比的方式训练超分辨率网络模型，对于原分辨率增强和多种倍数超分的需求，分别训练对应的神经网络模型；建立基于超分辨率网络模型的生成对抗神经网络模型，其中，生成对抗神经网络的生成器使用已建立的超分辨率网络模型，并使用已训练好的超分辨率网络模型的模型参数进行初始化；生成对抗神经网络的鉴别器使用编解码器结构，并使用谱归一化的方法；生成对抗神经网络的训练过程采用L1损失函数，感知损失函数和对抗损失函数，得到适用于多种不同需求各自的增强超分模型，其中，所述增强超分模型包括训练后的超分辨率网络、训练后的生成对抗神经网络；利用所述增强超分模型，对原始图像进行损伤去除和超分辨增强。3.根据权利要求1或2所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，在所述人脸增强步骤中：预训练人脸生成器，使用人脸图片数据集预训练一个包含了人脸先验知识的人脸生成器；该人脸生成器根据输入的低维度高级语义特征生成对应的高维度人脸图片，其中，低维度高级语义特征由人脸编码器得到，该低维度高级语义特征只包含了与人脸增强相关的信息；建立一个编解码器模型，将输入的低质量人脸图片进行初步损伤去除和修复，并通过编码器提取一个对应于输入图片的低维度高级语义特征；通过解码器提取对应于输入图片的多尺度细节特征；其中，编解码器具有损伤去除功能，因而提取的高级语义特征和多尺度细节特征都是基于损伤去除以后的特征；将编码器提取的低维度高级语义特征送入已预训练好的人脸生成器中，生成对应于低维度高级语义特征的多尺度包含人脸先验的特征；将编码器提取的多尺度细节特征和编码器提取的多尺度包含人脸先验的特细节征进行融合增强；人脸生成器训练过程中使用的损伤函数包括：重构损失、对抗损失、身份特征损失、人脸局部器官损失；将解码的每一个分辨率都和真实高质量图像对应分辨率的图像计算一次重构损失，重构损失函数公式如下：L
rec
表示重构损失；λ
L1
表示权重；表示生成的人脸增强图像；y表示真实高质量图像；
λ
per
表示权重；表示生成的人脸增强图像的VGG
‑
19特征；φ(y)表示真实高质量图像的VGG
‑
19特征；||
·
||1表示计算L1损失；第一项计算生成图像与真实高质量图像的L1损失，第二项计算生成图像与真实高质量图像在VGG
‑
19特征域上的L1感知损失；对抗损失函数公式如下：L
adv
表示对抗损失；λ
adv
表示对抗损失的权重；表示数学期望，其中x服从p
data
(x)分布；x表示待修复的人脸图片；p
data
(x)表示待修复人脸图片的数据分布；D(
·
)表示鉴别器；G(
·
)表示人脸增强模型；身份特征损失公式如下：L
id
表示身份特征损失；λ
id
表示身份特征损失的权重；η(
·
)表示预训练的人脸识别特征提取器；计算人脸识别特征的余弦相似度替代L1损失；人脸局部器官损失公式如下：L
comp
表示人脸局部器官损失；ROI表示感兴趣的区域，包括左眼、右眼以及嘴巴；λ
local
表示局部器官对抗损失的权重表示数学期望；D
ROI
表示针对ROI区域的鉴别器；表示生成生成的人脸增强图像中的ROI区域；λ
fs
表示风格匹配损失的权重；Gram(
·
)表示计算gram矩阵；ψ(
·
)表示D
ROI
提取的多尺度特征；式中第一项计算人脸局部器官的对抗损失，对于每一种区
域，分别训练一个鉴别器D计算对抗损失；式中第二项计算人脸局部器官的风格匹配损失，提取多尺度特征，计算Gram矩阵；在所述人脸增强步骤中：使用对应人种的更多图片数据，在原始人脸增强模型的基础上继续训练，生成对应人种的人脸增强模型，使得对应人种的人脸增强模型的结果相比于原始人脸增强模型的结果更加具有对应人种的面部特征；其中，对原始人脸增强模型进行调整：通过人种分类算法对人脸数据进行分类，将人脸数据分为白色人种、黄色人种和黑色人种三类；使用目标人种的更多数据图片，在原始人脸增强模型的基础上继续训练，对人脸增强模型进行调整，得到适用于对应人种的人脸增强模型；在已知人种的应用场景下，使用对应人种的人脸增强模型，使结果具有更多对应人种的面部特征。4.根据权利要求1所述的面对不同损伤图像的超分辨率高清重建方法，其特征在于，包括：训练数据生成步骤：利用多阶段随机退化模型，生成带有各类损伤的低分辨率数据图片作为增强超分模型的训练数据；在所述训练数据生成步骤中：多阶段随机退化模型的阶段数目为随机的，用于模拟真实生活场景中的数目随机的损伤过程；多阶段随机退化模型中的每个阶段的基本退化操作有：添加随机模糊：按照设定概率随机选择一种模糊核，并随机选择模糊核的大小，对图像进行模糊；随机缩放：随机选择一个缩放值，对图片进行缩放；添加随机噪声：从多种类型噪声中随机产生一种强度的噪声，叠加在图片上；添加随机JPEG损伤：对图片随机添加一种程度的JPEG损伤；通过sinc滤波器：模拟伪影；以设定的概率对低质量图片进行色彩退化，在一个范围内随机选择参数，分别对图像的对比度、饱和度、色调、亮度进行调整；以设定的概率将低质量图片变成黑白图片；其中，制作不带有色彩增强的数据集时剔除了色彩基本退化操作；在后续训练过程中，使用带有色彩增强的数据集训练带有色彩增强的模型，使用不带有色彩增强的数据集训练不带有色彩增强的模型。5.一种面对不同损伤图像的超分辨率高清重建系统，其特征在于，包括：超分增强模块：对原始图像进行损伤去除和超分辨增强；人脸增强模块：对超分增强模块处理后的图像进行人脸增强，得到重建图像。...

【专利技术属性】
技术研发人员：林立，吴航，
申请(专利权)人：上海艾麒信息科技股份有限公司，
类型：发明
国别省市：