本发明专利技术公开了基于物理模型与特征稠密关联的单图像去雾方法及装置，方法包括：采用预先设立的编码器提取有雾图像的特征，将编码器输出特征分为浅层特征与深层特征；对深层特征进行处理，在深层特征中构建全局范围内的稠密关联关系，利用全局信息对局部特征进行增强；对浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。本发明专利技术构建了不同局部特征的稠密关联关系，能够有效地提升复杂场景的表现，避免伪影的产生，生成更加真实的清晰图像。生成更加真实的清晰图像。生成更加真实的清晰图像。
【技术实现步骤摘要】
基于物理模型与特征稠密关联的图像去雾方法及装置
[0001]本专利技术属于计算机视觉的
，具体涉及一种基于物理模型与特征稠密关联的图像去雾方法及装置。
技术介绍
[0002]雾是一种典型的大气现象。受到空气中悬浮粒子的影响，雾会导致拍摄图像颜色失真、模糊和低对比度，从而对物体识别、语义分割等后续视觉任务造成不利影响。因此，图像去雾具有重要的意义。图像去雾的目的就是将受雾气影响的退化图像恢复为清晰的图像。早期的去雾方法依赖于人为的假设，利用数理统计等方法寻找传输图、大气光以及图像退化的规律。但是，人为的假设在真实有雾场景下并不总是成立，从而导致这类方法容易造成图像失真。随着深度学习的发展，许多方法开始将卷积神经网用于预测传输图、大气光或者清晰图像。这类方法可以打破假设的局限性，从而有更好的去雾效果。但是现有的基于学习的方法仍有不足：(1)对于低级视觉任务而言，相似的特征是重要的。尽管存在高价值的长距离相似特征信息，拥有固定感受野的卷积操作无法捕获到该信息，使得网络难以充分利用这些信息处理退化严重的区域，从而限制了复杂场景下的去雾表现。(2)浅层特征可以保留图像的纹理细节。目前许多的方法使用长距离的跳连来保留纹理细节，但是由于其受到雾的影响，这些信息是退化的，难以完全保留下来。针对以上问题，本专利技术专注于构建特征空间内不同局部特征的稠密关联关系，从而使得长距离的相似特征可以充分相互借鉴。同时，本专利技术提出了浅层特征映射模块，还原出受到雾影响而退化的浅层特征信息，从而构建出真实清晰的无雾图像。此外，本专利技术使用对比学习的方式对提出的网络进行优化，使得网络能够充分学习到有雾图像与无雾图像的区别，同时引入了Focal Frequency Loss来对网络进行约束，使得网络能够在色彩上有更加准确的表达。
技术实现思路
[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于物理模型与特征稠密关联的单图像去雾方法及装置，提升复杂场景特别是不均匀雾场景下的去雾表现，同时能够真实地还原出图像的色彩与纹理细节，提升去雾图像的真实性。
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种基于物理模型与特征稠密关联的单图像去雾方法，包括下述步骤：
[0006]采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
[0007]对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将提取的特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；
[0008]对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；
[0009]对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。
[0010]作为优选的技术方案，所述编码器基于ResBlock与下采样设计得到；所述解码器基于ResBlock与上采样得到。
[0011]作为优选的技术方案，所述卷积提取的特征图处理为特征序列，具体为：
[0012]使用3
×
3的滑动窗口在卷积获取的特征图的全局范围内捕获局部特征，并将滑动窗口内的特征展开为1
×
9的标量作为序列的元素，使得该序列的不同元素代表了不同的局部特征。
[0013]作为优选的技术方案，所述多头注意力由具有全局感受野的自注意力组成，用于建立全局特征信息之间的稠密关系，从而弥补卷积固定感受野带来的局限，在多头注意力中，一个自注意力构成了一个头的计算，是多头注意力构建全局特征关联的关键算子，同时，不同的头在全局的不同范围内学习到不同局部特征之间支持，使得网络更具有表现力，所述自注意力机制定义如下：
[0014][0015]其中，E表示的是自注意力的输入向量，Qu、Ke、Va分别表示生成查询值Query、键值Key、数值Value的线性运算，d
k
代表键值的维度，自注意力通过Qu(E)Ke(E)
T
使得查询值与键值进行矩阵相乘运算，从而构建序列E中每个元素之间的稠密关联关系，使元素之间可相互影响，Va(E)表示每个元素自身的映射，使其在无法与其他元素建立关联时也可以被增强。
[0016]作为优选的技术方案，所述联合参数通过下述方式计算：
[0017][0018]其中，
d
表示的是编码器输出的特征图，f
e
表示的是解码器输出的与f
d
相同尺度的特征图，在获取联合参数K的过程中，使用了卷积以及Sigmoid来近似求得的结果，从而防止梯度爆炸。
[0019]作为优选的技术方案，所述大气散射模型定义如下：
[0020]I(x)＝J(x)T(x)+A(1
‑
T(x))
[0021]其中，I、J表示的是有雾图像与无雾图像，T、A分别代表传输图和全局大气光，x表示的是像素，构建的物理模型使用了大气光与传输图的联合参数，基于大气光与传输图的联合参数的模型表示为：
[0022]J(x)＝J(x)K(x)
‑
K(x)+b
[0023]其中，K表示大气光与传输图的联合参数，b为恒定偏差可设置为常数。
[0024]作为优选的技术方案，还包括下述步骤：利用对比学习方法进行网络优化，同时引入了Focal Frequency Loss进行优化提升去雾性能，具体为：
[0025]使用预训练VGG来构建对比损失函数，对比损失函数为：
[0026][0027]其中，V代表的是VGG特征提取器，i代表其特征提取所用的网络层数，I
haze
表示的是有雾图像、I
gt
表示的是清晰图像，F表示的是去雾网络，对比损失函数衡量的是输出图像到正样本和负样本之间的距离，将标准清晰图像设置为正样本、输入的有雾图像作为负样本，对比损失能够使输出图像靠近正样本，远离负样本，负样本的加入为网络提供了新的参照，提升了模型性能；
[0028]Focal Frequency Loss从图像的频率域角度对网络进行约束，使生成图像在频率上保真，同时使得网络能够更加关注于退化严重的区域，从而能够准确地还原出退化区域的纹理和色彩，离散傅里叶变换被用于将图像从空间域转变到频率域，随后利用欧拉公式分离出实部与虚部，再计算损失，Focal Frequency Loss为：
[0029][0030]其中，Cat表示的是图像的实部和虚部的连接，ρ表示动态权重:
[0031][0032]c、d分别表示图像的长和宽，ρ使得网络能够根据不同的退化程度进行动态的权重调本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，包括下述步骤：采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。2.根据权利要求1所述基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，所述编码器基于ResBlock与下采样设计得到；所述解码器基于ResBlock与上采样得到。3.根据权利要求1所述基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，所述卷积获取的特征图处理为特征序列，具体为：使用3
×
3的滑动窗口在卷积获取的特征图的全局范围内捕获局部特征，并将滑动窗口内的特征展开为1
×
9的标量作为序列的元素，使得该序列的不同元素代表了不同的局部特征。4.根据权利要求1所述基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，所述多头注意力由具有全局感受野的自注意力组成，用于建立全局特征信息之间的稠密关系，从而弥补卷积固定感受野带来的局限，在多头注意力中，一个自注意力构成了一个头的计算，是多头注意力构建全局特征关联的关键算子，同时，不同的头在全局的不同范围内学习到不同局部特征之间支持，使得网络更具有表现力，所述自注意力机制定义如下：其中，E表示的是自注意力的输入向量，Qu、Ke、Va分别表示生成查询值Query、键值Key、数值Value的线性运算，d
k
代表键值的维度，自注意力通过Qu(E)Ke(E)
T
使得查询值与键值进行矩阵相乘运算，从而构建序列E中每个元素之间的稠密关联关系，使元素之间可相互影响，Va(E)表示每个元素自身的映射，使其在无法与其他元素建立关联时也可以被增强。5.根据权利要求1所述基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，所述联合参数通过下述方式计算：其中，
d
表示的是编码器输出的特征图，f
e
表示的是解码器输出的与f
d
相同尺度的特征图，在获取联合参数K的过程中，使用了卷积以及Sigmoid来近似求得的结果，从而防止梯度爆炸。6.根据权利要求1所述基于物理模型与特征稠密关联的单图像去雾方法，其特征在于，
所述大气散射模型定义如下：I(x)＝J(x)T(x)+A(1
‑
T(x))其中，I、J表示的是有雾图像与无雾图像，T、A分别代表传输图和全局大气光，x表示的是像素，构建的物理模型使用了大气光与传输图的联合参数，基于大气光与传输图的联合参数的模型表示为：J(x)＝J(x)...
【专利技术属性】
技术研发人员：梁云，黄恩泽，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。