一种满足多种降质模型的人脸图像处理方法技术

本发明专利技术公开了一种满足多种降质模型的人脸图像处理方法，用于对图像质量的提升和分辨率的重建。在构建高低分辨率图像训练集的时候，使用多种模糊核参数和多种噪声参数组合的降质模型代替现有的双三次降采样模型对高分辨率图像进行退化，将得到的高低分辨率图像对作为训练集，输入目前表现优异的神经网络进行训练，输出高分辨率的重建结果，得到的神经网络能够对多种降质模型得到的低分辨率图像进行超分辨率重建。本发明专利技术所提出的创新性思路能够拓展到超分辨率重建领域任意现有的表现出色的深度学习神经网络框架，拥有较强的可拓展性，且本发明专利技术所提方法更具备工程实用价值。且本发明专利技术所提方法更具备工程实用价值。且本发明专利技术所提方法更具备工程实用价值。

【技术实现步骤摘要】
一种满足多种降质模型的人脸图像处理方法


[0001]本专利技术涉及图像处理
，具体涉及一种满足多种降质模型的人脸图像处理方法，用于对图像质量的提升和分辨率的重建。

技术介绍

[0002]当前，监控设备获取到的人脸图像其质量和清晰度会影响对于相关信息的研判，因此，对人脸图像分辨率的提升和重建具有重要意义。通过软件的方法来提升图像分辨率的技术即超分辨率重建技术，在节省成本的同时，复原了图像逼真的主观视觉效果，提高了图像的清晰度，在视频侦察、数据库检索、人脸识别、车牌识别、违禁物品检测等领域都有着广泛的应用场景。
[0003]如图1所示，SRCNN采用三层神经网络的结构，第一层为图像块的提取和特征表示层，第二层为特征非线性映射层，第三层为最终的重建层。首先将高分辨率图像通过双三次降采样得到对应倍数缩放的低分辨率图像，再将该低分辨率图像通过双三次上插值得到与原图大小相同的低分辨率图像。将插值后得到的低分辨率图像作为神经网络的输入进行训练，通过三层卷积网络做非线性映射，网络的输出为高分辨率图像结果。
[0004]近年来，以SRCNN为代表的基于深度学习算法的超分辨率重建技术取得了优异的表现，解决了传统算法在该领域的诸多技术难题。低分辨率图像通常由高分辨率图像经过一系列的退化处理过程得到，在实际场景中需要处理的低分辨率图像，通常无法确定其降质过程的模糊核参数和噪声类型。然而目前基于深度学习的超分辨率重建算法构建图像的高低分辨率训练集都是通过对高分辨率图像进行双三次降采样这一种降质模型进行图像的退化，当实际获取到的低分辨率图像不满足双三次降采样这一降质过程时，其重建的结果非常糟糕，这也是超分辨率重建领域目前面临的最大技术难题。

技术实现思路

[0005]针对现有技术的不足，本专利技术旨在提出一种满足多种降质模型的人脸图像处理方法，在满足实际应用需求的同时，兼顾重建的精度和性能。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种满足多种降质模型的人脸图像处理方法，包括步骤如下：
[0008]S1、对原始图像进行降质处理：
[0009]对原始的高分辨率图像进行降质处理，得到对应的低分辨率图像，降质过程使用基于多种模糊核参数和多种噪声参数相组合的降质模型；所述降质模型采用下式表示：
[0010][0011]其中，I
HR
、I
LR
、s、k和n分别表示高分辨率原图、降质后的低分辨率图像、抽样算子、模糊核参数和加性高斯白噪声；
[0012]S2、构建高低分辨率图像对训练数据集：
[0013]将步骤S1降质处理得到的低分辨率图像与其原始的高分辨率图像对应，形成高低
分辨率图像对，作为超分辨率重建神经网络模型的训练数据集；
[0014]S3、通过维度延展策略对超分辨率重建神经网络模型的输入数据进行预处理：
[0015]将向量化的模糊核参数进行PCA降维，然后和噪声参数合并在一起得到一个向量，接着将向量拉伸为张量，此张量称之为退化参数图，所述退化参数图和低分辨率图像的维度相同；
[0016]S4、将处理后的数据输入超分辨率重建神经网络模型进行训练：
[0017]将维度延展之后得到的退化参数图和低分辨率图像合并在一起输入超分辨率重建神经网络模型进行训练，原始的高分辨率图像作为标签，在训练的过程中，通过降低损失函数的数值来训练神经网络模型，使得输出的超分辨率结果和标签达到最大程度的接近；
[0018]S5、经过训练后，所述超分辨率重建神经网络模型具备了对多种降质类型的低分辨率图像进行重建和复原的能力，输入通过复杂降质模型得到的低分辨率测试图像，就可以得到与之对应的高分辨率重建结果。
[0019]进一步地，步骤S1中，将降质过程的模糊核参数k设置为(Kernel width＝0.2,1.3,2.6),将高斯白噪声的标准差参数σ设置为(σ＝0,15,50)，
↓
s
下采样方式为双三次降采样，得到对应的多种降质类型的低分辨率图像。
[0020]进一步地，所述超分辨率重建神经网络模型以递归残差神经网络作为基础模型，步骤S4中，将步骤S3中得到的数据输入所述递归残差神经网络进行训练。
[0021]更进一步地，所述递归残差神经网络包含1个全局跨层连接、7个残差单元，每个残差单元包含一个2层卷积的递归单元，网络共16个卷积层。
[0022]更进一步地，步骤S4中，使用随机高斯分布初始化参数，初始学习率设置为0.01开始，每10个轮次下降一半；采用Adam算法对超分辨率重建神经网络模型进行优化。
[0023]本专利技术的有益效果在于：本专利技术在构建高低分辨率图像训练集的时候，使用多种模糊核参数和多种噪声参数组合的降质模型代替现有的双三次降采样模型对高分辨率图像进行降质，将通过上述过程得到的高低分辨率图像对作为训练集，输入目前在超分辨率重建表现优异的神经网络进行模型的训练，输出高分辨率的重建结果，得到的神经网络能够对多种降质模型得到的低分辨率图像进行超分辨率重建，相比于目前的基于深度学习的算法只能重建经过双三次降采样这一种降质模型得到的低分辨率图像，本专利技术所提出的创新性思路能够拓展到超分辨率重建领域任意现有的表现出色的深度学习神经网络框架，拥有较强的可拓展性，且本专利技术所提方法更具备工程实用价值。
附图说明
[0024]图1为现有的SRCNN网络结构示意图；
[0025]图2为本专利技术实施例1方法的流程示意图；
[0026]图3为本专利技术实施例1方法中维度延展策略的过程示意图。
具体实施方式
[0027]以下将结合附图对本专利技术作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围并不限于本实施例。
[0028]实施例1
[0029]实际应用中，需要进行超分辨率重建的图像，其降质模型往往存在复杂、难以逆推的问题，盲超分一直是图像超分辨率重建领域中最大的技术难题。目前基于盲超分的算法研究比较有限，大多解决方案将盲超分问题分解为两个步骤：一是根据给定的低分辨率图像估计模糊核，二是基于估计的模糊核来恢复超分辨率重建图像。这两步解决方案涉及两个独立训练的模型，它们彼此并不兼容，即使第一步估计误差很小，也会导致第二步的性能下降。另一方面，第一步只能利用低分辨图像中的有限信息，这使得模糊核的预测十分困难。
[0030]因此，本实施例的目标是引入一个能够满足多种降质模型的非盲超分辨率重建神经网络结构，在满足实际应用需求的同时，兼顾其重建的精度和性能。如图2所示，本实施例的满足多种降质模型的人脸图像处理方法包括步骤如下：
[0031]S1、对原始图像进行降质处理：
[0032]为了构建超分辨率重建神经网络模型训练所需的高低分辨率图像对数据集，首先需要对原始的高分辨率图像进行降质处理，得到对应的低分辨率图像。降质过程不再使用对原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种满足多种降质模型的人脸图像处理方法，其特征在于，包括步骤如下：S1、对原始图像进行降质处理：对原始的高分辨率图像进行降质处理，得到对应的低分辨率图像，降质过程使用基于多种模糊核参数和多种噪声参数相组合的降质模型；所述降质模型采用下式表示：其中，I
HR
、I
LR
、s、k和n分别表示高分辨率原图、降质后的低分辨率图像、抽样算子、模糊核参数和加性高斯白噪声；S2、构建高低分辨率图像对训练数据集：将步骤S1降质处理得到的低分辨率图像与其原始的高分辨率图像对应，形成高低分辨率图像对，作为超分辨率重建神经网络模型的训练数据集；S3、通过维度延展策略对超分辨率重建神经网络模型的输入数据进行预处理：将向量化的模糊核参数进行PCA降维，然后和噪声参数合并在一起得到一个向量，接着将向量拉伸为张量，此张量称之为退化参数图，所述退化参数图和低分辨率图像的维度相同；S4、将处理后的数据输入超分辨率重建神经网络模型进行训练：将维度延展之后得到的退化参数图和低分辨率图像合并在一起输入超分辨率重建神经网络模型进行训练，原始的高分辨率图像作为标签，在训练的过程中，通过降低损失函数的数值来训练神经网络模型，使得输出...

【专利技术属性】
技术研发人员：马闻，郭淑涛，钟绵军，
申请(专利权)人：公安部第一研究所，
类型：发明
国别省市：