基于双采样纹理感知蒸馏学习的不均衡图像超分方法技术

基于双采样纹理感知蒸馏学习的不均衡图像超分方法，涉及图像处理领域。包括：1)双采样策略：设计双采样策略来显式增加对少量的困难样本的采样概率，其包括反转采样和随机采样两种采样概率相反的方式训练超分模型，利用这两种采样方式来重新平衡训练数据的分布；2)纹理感知蒸馏学习：通过反转采样数据训练得到教师超分模型，通过蒸馏学习将教师模型中有效的参数级和图像级信息迁移到随机采样的学生超分模型中，从而提升不均衡图像的超分性能。可用于智能视频监控、遥感卫星、医学图像、视频应用及其它许多领域的实际需要等。及其它许多领域的实际需要等。及其它许多领域的实际需要等。

【技术实现步骤摘要】
基于双采样纹理感知蒸馏学习的不均衡图像超分方法


[0001]本专利技术涉及图像处理领域，尤其是涉及用于智能视频监控、遥感卫星、医学图像、视频应用及其它许多领域的实际需要等的一种基于双采样纹理感知蒸馏学习的不均衡图像超分方法。

技术介绍

[0002]图像超分辨率重建因为其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出许多优秀的算法。然而，这些超分模型对训练数据进行等概率采样，忽略训练数据集中的不平衡数据分布。近来，有相关研究提出区域感知的超分方法来处理不同的图像区域，旨在自适应地在更困难的样本点上分配更多的计算资源。具体实现过程为将图像分解为子图像，然后通过强化学习为每个子图像估计适当的处理路径；或者采用分类方法来确定对不同图像区域的处理，然后通过不同大小的模型重建子图像；还有通过自适应加权损失来训练深度网络，从而专注于具有高不确定性的纹理和边缘像素。而本专利技术主要从数据采样角度重新思考图像超分中的分布平衡方法。
[0003]数据重平衡最常见的方法有重采样和重加权。重采样方法可以分为两种类型：对少数类数据进行过采样以及对多数类数据进行欠采样。对于重采样，重复的尾部类样本可能会导致对少数类的过度拟合，同时，减少头部类数据的采样无疑会损害深度网络的泛化能力。对于重加权，其通常在损失函数中对尾部类的训练样本分配较大的权重。然而，重加权无法处理大规模真实场景下的长尾数据，并且往往会导致优化困难。
[0004]知识蒸馏被广泛的用于模型压缩和迁移学习当中，旨在训练一个紧凑的学生模型，从而逼近大的教师模型中隐含的映射关系。其中自蒸馏是一种模仿模型自身在不同训练阶段输出的一种学习策略，本专利技术根据自蒸馏的核心思想，引入纹理感知蒸馏学习方法，通过不断迁移利用反转采样数据训练的超分模型中的有效信息，包括连续自蒸馏和选择性像素蒸馏。
[0005]中国专利CN113240580A公开一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，该方法步骤包括：教师网络预处理；数据集预处理生成低分辨率图像；将低分辨率图像输入构建的学生网络中，输出学生网络重建的超分辨率图像；将低分辨率图像输入到多个教师网络中用于得到重建的超分辨率图像组；将学生网络重建的超分辨率图与教师网络重建的超分辨率图像组分别进行L1损失和感知损失计算，通过反向传播更新训练得到最终的学生网络模型；将低分辨率图片输入最终的网络模型，输出超分辨率图像。
[0006]目前，主流的深度超分模型主要集中在网络结构设计和优化方案上，对训练数据的关注不足。

技术实现思路

[0007]本专利技术的目的在于针对现有技术存在的上述问题，提供实现更有效的纹理感知超分任务，在进行传统的超分任务的同时，考虑到普遍的超分任务都是针对光滑区域的学习
而实现的指标，侧重于学习细节纹理区域，弥补数据特异性偏差的不平衡，得到在纹理和边缘信息更强的超分效果，更有效的一种基于双采样纹理感知蒸馏学习的不均衡图像超分方法。
[0008]本专利技术包括以下步骤：
[0009]1)数据集：采用DIV2K数据集(广泛应用于超分任务)训练深度超分模型，其包含800张训练数据和100张验证数据其中H表示高分辨率数据，L表示对应的双三次下采样低分辨率数据；
[0010]2)数据处理：随机裁剪至指定大小，其中高分辨率数据大小为128*128(2倍、4倍)或者129*129(3倍)，低分辨率数据大小为对应倍数的高分辨率数据的下采样尺寸，采用随机翻转进行数据增强；
[0011]3)双采样策略：包括随机采样和反转采样。其中随机采样是对于所有的输入样本根据随机采样的准则进行数据采样，而反转采样是根据数据的概率分布进行反转选择，从而达到反转采样的效果。为了实现反转采样，首先需要对训练数据进行分类，即将训练图像以滑动窗口裁剪的方式(高分辨率子图的大小为128*128或者129*129)获得子图，然后输入到预训练好的超分模型预测所有子图的重构难易难度，再根据长尾数据分布公式得到每个类别的样本数量；
[0012]4)纹理感知蒸馏学习：将预训练的反转采样超分模型中的参数级和图像级有效信息迁移到随机采样的学生模型中，包括连续自蒸馏和选择性知识蒸馏。连续自蒸馏用于将教师模型中的有效的参数级信息迁移到学生模型，从而增强模型对于困难样本的特征提取能力。选择性知识蒸馏用于从教师模型的超分结果中择优选择误差较小的像素区域来监督学生模型的训练。
[0013]5)损失函数：对于模型的整个训练过程中，使用常用的平均绝对误差L1和蒸馏损失L
SKD
对超分模型进行约束；
[0014]6)算法训练步骤：分为两个阶段进行训练；
[0015]第一阶段，训练反转采样超分模型，根据反转采样分类数据集采用L1损失训练反转采样超分模型，作为下一阶段初始教师模型参数；
[0016]第二阶段，首先加载当前的教师模型参数，接着利用随机采样数据更新学生模型参数，根据纹理感知蒸馏学习更新学生模型和教师模型参数；
[0017]重复第二阶段训练直至收敛或者达到最大训练伦次。将预训练的反转采样超分模型中的参数级和图像级的有效信息迁移到随机采样的学生模型中，从而使得最终的模型可以平衡训练数据的长尾效应。
[0018]在步骤3)中，所述设计双采样策略来弥补数据特定的不均衡分布问题：
[0019]本专利技术通过设计双采样策略来显式增加对困难样本(边缘和纹理区域)的采样，包括反转采样和随机采样，用于平衡训练数据的分布。
[0020](3.1)反转采样：旨在为样本量较少的尾部数据分配更高的采样概率。为此，首先需要根据样本重建难易程度对其进行分类，然后从各个类别中进行采样
[0021](3.1.1)数据分类：不同于长尾分类任务，其有明确的类别数量。图像超分是一个回归任务，因此，需要将训练数据集分为不同的类别。分类过程如下：
[0022]a.将DIV2K训练数据集以滑动窗口的方式裁剪成多个子图像；
[0023]b.将所有低分辨率子图输入到预训练好的EDSR_Baseline模型中，并与对应的高分辨率参照图像计算均方误差(MSE)，将每张子图的MSE值的大小作为其重建难易程度评估指标，如图1所示，即为DIV2K训练集所有子图的MSE值分布，可以看出训练数据呈现长尾分布；
[0024]c.根据不同的重建难度(MSE)将子图进行分类，因此，需要确定不同的MSE阈值。将类别数预定义为10个，按照长尾分类任务中数据集的生成方式，即通过指数函数减少每个类别的训练样本数量，从而可按照如下表达式对DIV2K子图数据集进行划分：
[0025]N
k
＝N
K
×
μ
k
，(1)
[0026]其中K是类别总数，N
K
表示训练子图总数量，N
k
表示第k个类别的数据量，μ∈(0,1)表示衰减因子。此外，长尾数据集的不平衡因子定义为训练样本中数量最多的类别除以数量最少的类别的值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于包括以下步骤：(1)数据集：采用DIV2K数据集训练深度超分模型；(2)数据处理：数据随机裁剪至指定大小；(3)双采样策略：包括随机采样和反转采样；所述随机采样是对于所有的输入样本根据随机采样的准则进行数据采样，所述反转采样是根据数据的概率分布进行反转选择，从而达到反转采样的效果；为了实现反转采样需对训练数据进行分类，将训练图像以滑动窗口裁剪的方式获得子图，然后输入到预训练好的超分模型预测所有子图的重构难易难度，再根据长尾数据分布公式得到每个类别的样本数量；(4)纹理感知蒸馏学习：将预训练的反转采样超分模型中的参数级和图像级有效信息迁移到随机采样的学生模型中，包括连续自蒸馏和选择性知识蒸馏；所述连续自蒸馏用于将教师模型中的有效的参数级信息迁移到学生模型，从而增强模型对于困难样本的特征提取能力；所述选择性知识蒸馏用于从教师模型的超分结果中择优选择误差较小的像素区域来监督学生模型的训练；(5)损失函数：对于模型的整个训练过程中，使用常用的平均绝对误差L1和蒸馏损失L
SKD
对超分模型进行约束；(6)算法训练步骤：分为两个阶段进行训练；第一阶段，训练反转采样超分模型，根据反转采样分类数据集采用L1损失训练反转采样超分模型，作为下一阶段初始教师模型参数；第二阶段，加载当前的教师模型参数，利用随机采样数据更新学生模型参数，根据纹理感知蒸馏学习更新学生模型和教师模型参数；重复第二阶段训练直至收敛或者达到最大训练轮次；将预训练的反转采样超分模型中的参数级和图像级的有效信息迁移到随机采样的学生模型中，使最终的模型平衡训练数据的长尾效应。2.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(1)中，所述DIV2K数据集包含800张训练数据和100张验证数据其中，H表示高分辨率数据，L表示对应的双三次下采样低分辨率数据。3.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(2)中，所述数据随机裁剪至指定大小，其中高分辨率数据大小为128*128(2倍、4倍)或129*129(3倍)，低分辨率数据大小为对应倍数的高分辨率数据的下采样尺寸，采用随机翻转进行数据增强。4.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(3)中，所述双采样策略用于弥补数据特定的不均衡分布问题，通过设计双采样策略显式增加对困难样本的采样，所述双采样策略包括反转采样和随机采样，用于平衡训练数据的分布：困难样本指边缘和纹理区域；(3.1)反转采样：旨在为样本量较少的尾部数据分配更高的采样概率，首先根据样本重建难易程度对其进行分类，然后从各个类别中进行采样；(3.1.1)数据分类：图像超分是一个回归任务，数据分类过程如下：
a.将DIV2K训练数据集以滑动窗口的方式裁剪成多个子图像；b.将所有低分辨率子图输入到预训练好的EDSR_Baseline模型中，并与对应的高分辨率参照图像计算均方误差MSE，将每张子图的MSE值的大小作为其重建难易程度评估指标，即为DIV2K训练集所有子图的MSE值分布，得出训练数据呈现长尾分布；c.根据不同的重建难度(MSE)将子图进行分类，确定不同的MSE阈值；按长尾分类任务中数据...

【专利技术属性】
技术研发人员：曲延云，林锦，罗小同，艾泽坤，
申请(专利权)人：厦门大学，
类型：发明
国别省市：