一种基于核不确定学习和退化嵌入的盲超分辨率重建方法技术

本发明专利技术属于计算机视觉领域，具体涉及一种基于核不确定学习和退化嵌入的盲超分辨率重建方法，首先使用核估计网络中的编码器和解码器结构提取低质图像深度特征，并将深度特征送入核重建模块，学习模糊核的特征和不确定性，并最终获得估计的模糊核。然后对模糊核进行拉伸和降维后，将其与当前特征信息送入退化查询模块执行自注意力操作获得适合当前特征信息的退化嵌入块，最终获得图像超分辨率重建。本发明专利技术针对当前盲超分辨率的弊端，将不确定性学习引入到核估计网络中，学习模糊核隐含空间中的特征和不确定性，使用模糊核重建损失和KL散度损失共同训练核估计网络，提高了核估计的性能和稳健性。本发明专利技术用于提高图像质量。本发明专利技术用于提高图像质量。本发明专利技术用于提高图像质量。

【技术实现步骤摘要】
一种基于核不确定学习和退化嵌入的盲超分辨率重建方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于核不确定学习和退化嵌入的盲超分辨率重建方法。

技术介绍

[0002]图像超分辨率(SISR)是指从低分辨率(LR)图像中恢复高分辨率(HR)图像的过程，是计算机视觉和图像处理中的一类重要的图像处理技术。它在现实世界中有着广泛的应用，例如医学成像、监视和安全等。除了提高图像的感知质量外，它还有助于改进其他计算机视觉任务。在过去的五年中，深度神经网络(DNN)在SISR上取得了显著的成果。但是这些方法中的大多数都假定模糊核被预先定义为双三次插值核。在这种情况下，SR任务退化为寻找双三次下采样的逆解。然而，但实际应用中涉及的模糊核通常是复杂的和不可用的。这是由于模糊核很容易受到摄像机内部参数、摄像机姿态等的影响导致它们通常是未知的，并且随着图像的不同而不同。因此，在双三次合成的训练样本和真实图像之间存在域间隙。当这些网络应用于实际应用时，这种域差距将导致严重的性能下降。因此，对于未知模糊核k背景下的超分辨率，即盲超分辨率，应给予更多的关注。
[0003]现有的盲超分辨率方法通常由两步实现：首先在低分辨率图片LR中进行退化估计，之后在将估计出的退化信息与LR进行自适应融合完成超分。根据退化提取的策略，现有的盲超分辨率方法可以分为两类：监督核预测(SKP)和无监督退化预测(UDP)：
[0004](1)无监督退化预测(UDP)：UDP方法的核心思想是对退化信息进行分类而不是像SKP那样精确的估计出像素级的退化信息即模糊核，虽然减少了计算复杂度，但UDP得到的退化信息是粗糙的，将其作为退化先验送入到超分网络中很难获得有希望的结果，因此UDP在大多情况下和最新的SKP之间仍有差距。
[0005](2)监督核预测(SKP)：不同于UDP方法，SKP方法是从低分辨率图片中学习潜在模糊核的数据分布。由于模糊核中包含LR图像的退化信息，它可以作为退化先验与LR图像进行自适应融合并实现超分。后续学者的工作提出了各种各样的显式核估计方法和融合策略。它们在盲超分辨率上都取得了良好的结果。然而由于盲超分逆问题的病态性质，准确的核估计是不可能的，现有的监督核预测方法通过从大量合成的LR图像中估计模糊核，这些方法提取出的模糊核普遍缺乏健壮性。此外，在得到估计的模糊核后，大多数方法仍然使用PCA技术对模糊核进行降维并与特征图进行拼接，这样不仅没有考虑退化图和特征图之间的域差距而且重要的是这些方法没有考虑过当前特征需要什么样的退化嵌入，而超分网络又对退化信息十分敏感，这样不可避免地导致重建效果较差。因此针对现有盲超分辨率方法的弊端，构建一种基于核不确定学习和退化嵌入的盲超分辨率重建方法对于提升图像质量有着重要意义。

技术实现思路

[0006]针对上述的技术问题，本专利技术提供了一种基于核不确定学习和退化嵌入的盲超分
辨率重建方法，将不确定性学习引入到核估计网络中。同时学习模糊核隐含空间中的特征和不确定性，使用模糊核重建损失和KL散度损失共同训练核估计网络，提高核估计的性能和稳健性。此外提出了一种用于模糊核与图片融合的策略。该策略基于退化嵌入查询模块用来分析当前图像特征和退化信息之间的关系，通过自注意力查询操作得到适合当前特征图的退化信息，并将退化信息用来生成卷积和通道系数来解决退化信息和图像特征之间的域差距。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：
[0008]一种基于核不确定学习和退化嵌入的盲超分辨率重建方法，包括下列步骤：
[0009]S1、针对盲超分辨率的病态性质，设计用于求解盲超分辨率的优化公式；
[0010]S2、构建基于核不确定学习和退化嵌入的盲超分辨率模型ULDP求解所述S1中的优化公式，ULDP模型包含两个子网络：核估计子网络KNET和超分子网络SNET；
[0011]S3、使用S2中KNET网络对低质图像LR提取深度特征p，并将p重塑为模糊核k；
[0012]S4、对S3中的退化信息k进行拉伸以及降维并和当前层特征信息f送入到DQ模块进行自注意力查询操作得到适合当前层特征信息f的退化嵌入块E；
[0013]S5、使用S2中SNET网络对S4中的退化嵌入信息E和当前层特征信息f完成融合并实现超分辨率重建。
[0014]所述S1中使用经典退化模型来合成盲超分辨率的训练数据对，其公式如下：
[0015][0016]所述y表示LR图像；所述x是原始HR图像；所述k是模糊核；所述表示二维2D卷积运算；所述
↓
s表示双三次下采样s倍；所述n表示具有噪声级别σ的高斯白噪声；盲超分辨率任务分解为两步并依次求解，等式如下：
[0017][0018]所述ρ()表示从LR图像y中估计模糊核k的函数，所述k表示模糊核，所述g()是一个非盲超分辨率方法，所述g()的输入是LR图像y和模糊核k；所述θ
ρ
和θ
g
分别是模型ρ和g的参数；为了更直观体现出盲超分辨率的目标，对上述公式进行调整获得优化公式：
[0019][0020]所述l为可以根据任务的要求选择与保真度相关的损失。
[0021]所述S2中构建的ULDP是由两个子网络即基于不确定学习的核估计子网络KNET和基于退化嵌入的超分子网络SNET构成；KNET网络负责从低分辨率图片中预测潜在的退化信息即模糊核k，在得到估计的模糊核k后，SNET网络实现LR图像和模糊核k融合并完成图像重建；所述KNET网络包含特征提取模块和核重建模块；特征提取模块由编码器、解码器、中间层构成；所述编码器结构是由两个残差块ResBlock和DE模块组成；ResBlock块由两个卷积和relu激活函数交替构成；DE模块是指下采样down sampling和通道扩张channelexpansion；解码器是由UR模块，拼接块，残差块构成；UR模块是指上采样up sampling和通道缩减channelreduction；中间层是由3个conv3×3和relu函数组成；核重建结构则是由3个conv3×3和若干激活函数构成；将由特征提取模块输出的信息送入前两个卷积
层，分别用于学习潜在模糊核的均值μ和方差σ，最后在将均值μ和方差σ送入到最后一个卷积层获到估计模糊核k。
[0022]所述S2中SNET网络以DEA块为基本块，整个结构由6个残差组构成；每个残差组由6个DEA模块组成；所述DEA块内，共有两个DEA卷积、两个conv3×3；此外，在每个DEA卷积中都有退化嵌入查询模块DQ；DEA卷积含有两个分支，DEA卷积的两个分支基于退化嵌入查询模块DQ输出的嵌入信息E生成卷积核w和通道系数v来适配特征。
[0023]所述S3中KNET网络内，分别有两个编码器Enc和解码器Dec即特征提取模块；在经过特征提取模块，图像深度特征p被从低质图像LR中提取出；所述图像深度特征p是一个高维tensor向量，所述图像深度特征p的形状大小是(64本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于核不确定学习和退化嵌入的盲超分辨率重建方法，其特征在于：包括下列步骤：S1、针对盲超分辨率的病态性质，设计用于求解盲超分辨率的优化公式；S2、构建基于核不确定学习和退化嵌入的盲超分辨率模型ULDP求解所述S1中的优化公式，ULDP模型包含两个子网络：核估计子网络KNET和超分子网络SNET；S3、使用S2中KNET网络对低质图像LR提取深度特征p，并将p重塑为模糊核k；S4、对S3中的退化信息k进行拉伸以及降维并和当前层特征信息f送入到DQ模块进行自注意力查询操作得到与当前层特征信息f契合的退化嵌入块E；S5、使用S2中SNET网络对S4中的退化嵌入信息E和当前层特征信息f完成融合并实现超分辨率重建。2.根据权利要求1所述的一种基于核不确定学习和退化嵌入的盲超分辨率重建方法，其特征在于：所述S1中使用经典退化模型来合成盲超分辨率的训练数据对，其公式如下：所述y表示LR图像；所述x是原始HR图像；所述k是模糊核；所述表示二维2D卷积运算；所述
↓
s表示双三次下采样s倍；所述n表示具有噪声级别σ的高斯白噪声；盲超分辨率任务分解为两步并依次求解，等式如下：所述ρ()表示从LR图像y中估计模糊核k的函数，所述k表示模糊核，所述g()是一个非盲超分辨率方法，所述g()的输入是LR图像y和模糊核k；所述θ
ρ
和θ
g
分别是模型ρ和g的参数；为了更直观体现出盲超分辨率的目标，对上述公式进行调整获得优化公式：所述l为可以根据任务的要求选择与保真度相关的损失。3.根据权利要求1所述的一种基于核不确定学习和退化嵌入的盲超分辨率重建方法，其特征在于：所述S2中构建的ULDP是由两个子网络即基于不确定学习的核估计子网络KNET和基于退化嵌入的超分子网络SNET构成；KNET网络负责从低分辨率图片中预测潜在的退化信息即模糊核k，在得到估计的模糊核k后，SNET网络实现LR图像和模糊核k融合并完成图像重建；所述KNET网络包含特征提取模块和核重建模块；特征提取模块由编码器、解码器、中间层构成；所述编码器结构是由两个残差块ResBlock和DE模块组成；ResBlock块由两个卷积和relu激活函数交替构成；DE模块是指下采样down sampling和通道扩张channelexpansion；解码器是由UR模块...

【专利技术属性】
技术研发人员：邓红霞，冯浩，王辉，韩陆阳，曹帅，张瑞欣，张欣，
申请(专利权)人：山西阳煤联创信息技术有限公司，
类型：发明
国别省市：