一种基于元学习优化网络的人脸超分辨率方法及系统技术方案

本发明专利技术提供了一种基于元学习优化网络的人脸超分辨率方法及系统，通过元学习优化网络将训练阶段学到的多种降质过程的内在特征联系用在测试的未知降质过程，解决了目前人脸超分辨率重建算法在图像退化类型未知时，人脸图像重建性能存在一定的局限性的技术问题，提高了人脸图像的重建性能。本发明专利技术利用元学习能够快速学习一项新任务的特性，使网络通过对训练任务的经验学习来达到在新的测试任务上的良好超分性能。本发明专利技术能够应对降质过程未知时人脸图像超分辨率性能下降问题，生成更高质量的人脸高分辨率图像。人脸高分辨率图像。人脸高分辨率图像。

【技术实现步骤摘要】
一种基于元学习优化网络的人脸超分辨率方法及系统


[0001]本专利技术属于计算机视觉人脸超分辨率
，具体涉及一种基于元学习优化网络的人脸超分辨率方法及系统。

技术介绍

[0002]人脸超分辨率(Face super
‑
resolution，FSR)又称为人脸幻觉(Facial hallucination)，旨在从低分辨率(Low
‑
resolution，LR)人脸图像中提取高频细节，获得高分辨率(High
‑
resolution,HR)人脸图像。近年来，学者们提出了大量基于深度学习的人脸超分辨率算法。图像的主客观重建性能明显优于传统的浅层学习方法，因此成为一个新的研究热点。
[0003]从退化类型的角度看，基于深度学习的FSR方法可以分为单一退化类型和多重退化类型。在双三次下采样的理想条件下，单一退化方法可以获得显著的定量或定性性能，但如果测试图像的退化偏离双三次退化，则通常会产生尖锐或模糊的结果。因此，学者们开始研究多重退化FSR方法。
[0004]多重退化FSR方法分为非盲FSR方法和盲FSR方法。非盲FSR方法通常有关于实际退化的信息(例如模糊内核、噪声)，这些信息可以用作网络的相关输入，以帮助模拟实际退化。在盲SR方法中，只使用LR图像作为输入，不使用地面真值图像作为参考。典型的是，对于现实世界中的FSR来说，LR图像的质量受到多种因素的影响(如天气、相机抖动引起的运动模糊等)，这导致了真实LR图像未知的复杂退化，而这种退化是已知的模糊核和噪声无法模拟的。为了解决这个问题，学者们提出了许多无监督或自监督的FSR方法。
[0005]虽然上述非盲FSR方法取得了令人满意的效果，但大多数方法通过估计退化模糊核来重建超分辨率网络，增加了整体网络的参数量，训练过程中内存开销和所需算力巨增；但当模拟的退化模糊核偏离实际退化时，重建的SR图像会出现不必要的伪影。

技术实现思路

[0006]本专利技术要解决的技术问题是：提供一种基于元学习优化网络的人脸超分辨率方法及系统，用于提高人脸图像的重建性能。
[0007]本专利技术为解决上述技术问题所采取的技术方案为：一种基于元学习优化网络的人脸超分辨率方法，包括以下步骤：
[0008]S0：搭建一种基于元学习优化网络的人脸超分辨率系统，包括依次连接的图像处理模块、元训练模块、参数优化模块和超分结果模块；
[0009]S1：图像处理模块对高分辨率人脸图像分别进行不同种类的降质过程，得到对应的目标低分辨率人脸图像，从而划分出训练集和测试集；
[0010]S2：元训练模块对训练集的低分辨率人脸图像进行分块操作，使用元训练网络学习多种类降质过程下低分辨率人脸图像到高分辨率人脸图像的特征映射，得到参数可转移且敏感的初始超分辨率模型；
[0011]S3：参数优化模块将测试集的低分辨率人脸图像送进初始超分辨率模型进行训练，对模型参数进行设定次数的迭代更新用于适应新的降质过程，得到元参数优化网络；
[0012]S4：超分结果模块将测试集的低分辨率人脸图像送进元参数优化网络进行学习，得到最终的高分辨率人脸图像。
[0013]按上述方案，所述的步骤S1中，具体步骤为：
[0014]S11：将高分辨率人脸图像y
i
进行模糊卷积，得到同尺度但清晰度降低的模糊图像x
i
；
[0015]S12：将模糊图像下采样所需尺度得到目标低分辨率人脸图像x；
[0016]S13：所有的(x，y)对构成数据集D；在数据集D中采用随机抽取的方式划分训练集D
train
和测试集D
test
，数量比例是9：1。
[0017]进一步的，所述的步骤S11中，具体步骤为：模糊卷积使用各向异性高斯模糊核和各向同性高斯模糊核把高分辨率人脸图像加模糊得到模糊人脸图像；设随机角度数θ的取值范围为[0，π]，下采样尺度因子为s，λ1和λ2的特征值范围分别为[1，2.5s]和[1，λ1]，则模糊核公式表示为：
[0018][0019]进一步的，所述的步骤S12中，具体步骤为：下采样使用双三次插值法将模糊人脸图像降尺度至目标低分辨率人脸图像；设高分辨率人脸图像为HR，目标尺寸的低分辨率人脸图像为LR，模糊核为K，则不考虑噪声的降质过程公式为：
[0020][0021]进一步的，所述的步骤S2中，具体步骤为：
[0022]S21：将整个训练集D
train
按降质过程的种类划分成N种任务每个任务内的样本保持降质过程一致且数量一致；
[0023]S22：单个任务内的样本再划分为两个数量相等的子训练集D
sub
‑
train和子测试集D
sub
‑
test；
[0024]S23：用N种任务的子训练集D
sub
‑
train
进行任务级别的训练，学习更新基础学习者base
‑
learner；设任务级别的学习率为α，任务级别的训练为tr，在子训练集D
sub
‑
train
上对参数θ计算一个或多个梯度下降更新来获得新的参数θ
’
，则梯度更新的计算公式为：
[0025][0026]S24：用N种任务的子测试集D
sub
‑
test
进行任务级别的测试，用测试误差来学习更新元学习者meta
‑
learner；设任务级别的测试为te，T
i
服从任务分布p(T)，对子测试集D
sub
‑
test
上的测试误差进行最小化损失来更新参数θ
’
，公式如下：
[0027][0028]S25：经过多轮训练，参数θ更新为θ
T
；则随机梯度下降的参数θ更新规则为：
[0029][0030]进一步的，所述的步骤S3中，具体步骤为：
[0031]将测试集D
test
中的所有(x
i
，y
i
)对送入初始超分辨率模型进行10次迭代训练，对得到的超分辨率人脸图像和高分辨率人脸图像y之间的误差进行损失最小化，更新参数为θ
k
，得到元参数优化网络。
[0032]进一步的，所述的步骤S4中，具体步骤为：
[0033]将测试集D
test
送入优化网络进行超分辨率重建，采用卷积实现，设第i张低分辨率人脸图像为x
i
，优化模型为f
θ
，得到第i张超分辨率人脸图像表示为：
[0034][0035]进一步的，还包括以下步骤：设网络参数为θ，数据集为D，当前样本数量为m，数据集中第i张高分辨率人脸图像为y
i
，第i张低分辨率人脸图像生成的超分辨率人脸图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习优化网络的人脸超分辨率方法，其特征在于：包括以下步骤：S0：搭建一种基于元学习优化网络的人脸超分辨率系统，包括依次连接的图像处理模块、元训练模块、参数优化模块和超分结果模块；S1：图像处理模块对高分辨率人脸图像分别进行不同种类的降质过程，得到对应的目标低分辨率人脸图像，从而划分出训练集和测试集；S2：元训练模块对训练集的低分辨率人脸图像进行分块操作，使用元训练网络学习多种类降质过程下低分辨率人脸图像到高分辨率人脸图像的特征映射，得到参数可转移且敏感的初始超分辨率模型；S3：参数优化模块将测试集的低分辨率人脸图像送进初始超分辨率模型进行训练，对模型参数进行设定次数的迭代更新用于适应新的降质过程，得到元参数优化网络；S4：超分结果模块将测试集的低分辨率人脸图像送进元参数优化网络进行学习，得到最终的高分辨率人脸图像。2.根据权利要求1所述的一种基于元学习优化网络的人脸超分辨率方法，其特征在于：所述的步骤S1中，具体步骤为：S11：将高分辨率人脸图像y
i
进行模糊卷积，得到同尺度但清晰度降低的模糊图像x
i
；S12：将模糊图像下采样所需尺度得到目标低分辨率人脸图像x；S13：所有的(x，y)对构成数据集D；在数据集D中采用随机抽取的方式划分训练集D
train
和测试集D
test
，数量比例是9：1。3.根据权利要求2所述的一种基于元学习优化网络的人脸超分辨率方法，其特征在于：所述的步骤S11中，具体步骤为：模糊卷积使用各向异性高斯模糊核和各向同性高斯模糊核把高分辨率人脸图像加模糊得到模糊人脸图像；设随机角度数θ的取值范围为[0，π]，下采样尺度因子为s，λ1和λ2的特征值范围分别为[1，2.5s]和[1，λ1]，则模糊核公式表示为：4.根据权利要求3所述的一种基于元学习优化网络的人脸超分辨率方法，其特征在于：所述的步骤S12中，具体步骤为：下采样使用双三次插值法将模糊人脸图像降尺度至目标低分辨率人脸图像；设高分辨率人脸图像为HR，目标尺寸的低分辨率人脸图像为LR，模糊核为K，则不考虑噪声的降质过程公式为：5.根据权利要求3所述的一种基于元学习优化网络的人脸超分辨率方法，其特征在于：所述的步骤S2中，具体步骤为：S21：将整个训练集D
train
按降质过程的种类划分成N种任务每个任务内的样本保持降质过程一致且数量一致；S22：单个任务内的样本再划分为两个数量相等的子训练集D
sub
‑
train
和子测试集D
sub
‑
test
；S23：用N种任务的子训练集D
sub
‑
train
进行任务级别的训练，学习更新基础学习者base
‑
learner；设任务级别的学习率为α，任务级别的训...

【专利技术属性】
技术研发人员：卢涛，汪慧，张彦铎，吴云韬，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：