一种融合偏色校正的图像去沙尘暴方法技术

本发明专利技术涉及一种融合偏色校正的图像去沙尘暴方法。该方法通过连接多个具有相同结构的沙尘感知表征提取DustAre模块，先对输入沙尘暴图像多次下采样操作，提取图像特征并融合；然后，对所提取的图像特征进行多次上采样操作，还原到原始图像空间，以获得最后的去沙尘暴图像。本发明专利技术：（1）针对沙尘暴图像颜色偏差问题，在网络模型训练时对标签图像采用了传统颜色偏色检测与校正策略，从而图像去沙尘暴结果颜色更加自然；（2）基于沙尘暴图像a*和b*颜色分量的色度值均远大于无沙尘暴图像的发现，设计了新的损失函数项来更好地指导网络模型训练；（3）提出了沙尘暴图像生成模型，合成了一个包含室内外带标签的沙尘暴图像数据集，用于网络模型的训练。络模型的训练。络模型的训练。

【技术实现步骤摘要】
一种融合偏色校正的图像去沙尘暴方法


[0001]本专利技术属于图像处理
，具体涉及一种融合偏色校正的图像去沙尘暴方法。

技术介绍

[0002]沙尘暴天气对户外监测设备的车牌检测、自动驾驶的客观识别技术等监测系统的能力产生 了负面影响。由于光线在沙尘中传播时的散射和吸收，在沙尘暴天气中拍摄的图像往往会呈现 出颜色偏移和低对比度。沙尘暴图像输入将给其他计算机视觉任务带来困难。因此，图像去沙 尘暴作为高级计算机视觉任务的一个预处理步骤，已成为计算机视觉领域的一个重要研究课题。
[0003]现有的图像恢复方法可分为传统的颜色偏色校正方法和基于深度学习的方法。传统的颜色 偏色校正方法通常是先将沙尘暴图像转换到CIELAB颜色空间，CIELAB颜色空间包括两个色 度分量和一个亮度分量；然后，在CIELAB颜色空间中对两个色度分量进行偏色校正，对亮度 分量进行细节增强，得到相应的干净图像。然而，传统的图像去沙尘暴方法只注重图像色彩对 比度调整，没有考虑沙尘对图像的影响与图像场景深度之间的关系。因此，传统方法的修复效 果往往存在色彩饱和度低、残留沙尘较多的问题。
[0004]近年来，深度学习技术在图像复原方面取得了有效的应用。基于深度学习的方法通常设计 卷积神经网络来学习图像特征，并在大规模图像数据集上训练网络以生成恢复后图像。由于大 多数现有监督学习神经网络都是在合成图像数据集上进行训练，因此基于深度学习的方法很容 易在合成数据集上产生显著的效果，但在真实图像数据集上的效果欠佳。此外，由于缺乏用于 网络训练的沙尘暴图像数据集，大多数现有的图像去沙尘暴研究仍停留在传统的方法上。
[0005]与有雾图像类似，沙尘暴对图像的影响也取决于图像场景的深度。在合成沙尘暴图像时， 应考虑沙尘暴图像和干净图像之间的图像场景深度关系以及沙尘暴图像颜色等因素。因此，本 专利技术根据沙尘暴图像的具体特征来描述沙尘暴图像的形成过程：
[0006]I(x)＝J(x)d(x)p(x)+C(1
‑
d(x)p(x))
[0007]其中I和J分别表示含沙图像和干净图像。符号C表示沙尘暴颜色图，即全局遮掩光。符 号p表示通过预训练单目图像场景深度评估方法获得的图像场景深度图。d表示沙尘暴图像场景 深度和干净图像场景深度之间的关系。

技术实现思路

[0008]本专利技术的目的在于为了更加有效去除图像沙尘暴，提供一种融合偏色校正的图像去沙尘暴 方法，该方法比当前最先进的图像复原方法具有更好的图像去沙尘暴效果。
[0009]为实现上述目的，本专利技术的技术方案是：一种融合偏色校正的图像去沙尘暴方法，构建图 像去沙尘暴网络，即通过连接多个具有相同结构的沙尘感知表征提取DustAre模块，先对输入 沙尘暴图像多次下采样操作，提取图像特征并融合；然后，对所提取的图像特
征进行多次上采 样操作，还原到原始图像空间，以获得最后的去沙尘暴图像。
[0010]在本专利技术一实施例中，所述图像去沙尘暴网络的高度和宽度分别为3和6，用分别表 示图像去沙尘暴网络网络第r行中第i个DustAre模块的输入和输出，那么在下采样操作过程， 第2行和第3行中的第i+1个DustAre模块的输入可以表示为
[0011][0012][0013]类似地，在上采样操作过程，第2行和第1行中的第i+1个DustAre模块的输入可以表示为，
[0014][0015][0016]其中，
↓
及
↑
分别表示下采样操作和上采样操作。
[0017]在本专利技术一实施例中，所述DustAre模块包括两个分支，其中第一分支用于估计全局遮掩 光即散射在视线中的环境光和局部空间信息，第二分支用于生成一张沙尘暴感知图像，并且融 合该沙尘暴感知图像、全局遮掩光和局部空间信息，以得到DustAre模块的输出。
[0018]在本专利技术一实施例中，所述第一分支使用1
×1×
2矩阵对输入特征进行编码并生成全局遮 掩光表征(β
V
，γ
V
)和使用H
×
W
×
2矩阵生成局部空间信息表征(β
S
，γ
S
)；所述第二分支首先 根据公式(1)和(2)用输入x规范化两组表征，分别记为V和S，并通过实例规范化层和sigmoid 层来生成沙尘暴感知图A；然后，融合A、V和S，得到DustAre模块的输出y；其中，对于DustAre 模块的输入x，V、S和输出y表示为：
[0019][0020][0021][0022]其中，μ及σ分别表示x的平均值和标准偏差。
[0023]在本专利技术一实施例中，该方法还引入偏色校正策略，即使用颜色偏色策略检测和校正训练 数据集的标签图像，使得最终去沙尘暴图像颜色更加自然，具体即：
[0024]此处认为偏色因子K≥1.5时，标签图像本身更可能存在偏色；因此，在CIELAB颜色空 间中校正这些图像的a*、b*分量，即最终训练标签图像的表达式为，
[0025][0026]其中表示原始标签图像，cor表示颜色偏色校正操作。
[0027]在本专利技术一实施例中，考虑到沙尘暴图像与干净图像在CIELAB颜色空间的色度差异，该 方法还设计一项新的损失函数从而更好地指导网络训练，具体地，所述方法的总损失函数 定义为：
[0028][0029]其中λ
ab
、λ
L1
以及λ
per
分别设置为0.3、1.2和0.4；
[0030]第一项源于对沙尘暴图像和干净图像的观察，由于沙尘暴图像具有严重的颜色偏差，在 CIELAB颜色空间中沙尘暴图像的平均a*，b*色度值通常大于干净图像的平均a*，b*色度值， 因此第一个损失项为，
[0031][0032]其中N是图像像素的总数，在去沙尘暴结果y的CIELAB颜色空间中，y
a
和y
b
分别表示a* 和b*颜色分量，在经过颜色偏色校正后对应清晰图像即标签图像的CIELAB颜色空间中，及分别表示a*和b*颜色分量；
[0033]第二项是平滑L1损失，记为可防止潜在梯度爆炸，其定义如下：
[0034][0035][0036]最后一项，感知损失用于激励在Backbone网络中具有相似的图像特征，其定义为，
[0037][0038]其中，H、W和C分别表示网络第i层中特征图的高度、权重和通道，φ
i
(y)和分别表 示y和的第i层中的输出特征映射，y及分别表示去沙尘暴结果和相应的干净图像。
[0039]相较于现有技术，本专利技术具有以下有益效果：
[0040]本专利技术将深度学习技术引入图像去沙尘暴领域，提出了一种融合颜色校正的图像去沙尘暴 方法(SIDNet)。本专利技术算法通过连接多个具有相同结构的沙尘感知表征提取模块，先对输入沙 尘暴图像进行多次下采样操作以提取和融合图像特征；再对特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合偏色校正的图像去沙尘暴方法，其特征在于，构建图像去沙尘暴网络，即通过连接多个具有相同结构的沙尘感知表征提取DustAre模块，先对输入沙尘暴图像多次下采样操作，提取图像特征并融合；然后，对所提取的图像特征进行多次上采样操作，还原到原始图像空间，以获得最后的去沙尘暴图像。2.根据权利要求1所述的一种融合偏色校正的图像去沙尘暴方法，其特征在于，所述图像去沙尘暴网络的高度和宽度分别为3和6，用分别表示图像去沙尘暴网络网络第r行中第i个DustAre模块的输入和输出，那么在下采样操作过程，第2行和第3行中的第i+1个DustAre模块的输入可以表示为DustAre模块的输入可以表示为类似地，在上采样操作过程，第2行和第1行中的第i+1个DustAre模块的输入可以表示为，为，其中，
↓
及
↑
分别表示下采样操作和上采样操作。3.根据权利要求1或2所述的一种融合偏色校正的图像去沙尘暴方法，其特征在于，所述DustAre模块包括两个分支，其中第一分支用于估计全局遮掩光即散射在视线中的环境光和局部空间信息，第二分支用于生成一张沙尘暴感知图像，并且融合该沙尘暴感知图像、全局遮掩光和局部空间信息，以得到DustAre模块的输出。4.根据权利要求3所述的一种融合偏色校正的图像去沙尘暴方法，其特征在于，所述第一分支使用1
×1×
2矩阵对输入特征进行编码并生成全局遮掩光表征(β
V
，γ
V
)和使用H
×
W
×
2矩阵生成局部空间信息表征(β
S
，γ
S
)；所述第二分支首先根据公式(1)和(2)用输入x规范化两组表征，分别记为V和S，并通过实例规范化层和sigmoid层来生成沙尘暴感知图A；然后，融合A、V和S，得到DustAre模块的输出...

【专利技术属性】
技术研发人员：李佐勇，黄佳燕，余兆钗，徐海平，胡蓉，
申请(专利权)人：闽江学院，
类型：发明
国别省市：