一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法技术

本发明专利技术提供一种基于改进Cycle

【技术实现步骤摘要】
一种基于改进Cycle
‑
Dehaze神经网络的火灾图像烟雾去除方法


[0001]本专利技术涉及数字图像处理领域，尤其涉及一种基于改进Cycle
‑
Dehaze神经网络的森林火灾单幅图像烟雾去除方法。

技术介绍

[0002]森林火灾防控是环境治理和社会应急系统中极为重要的环节，不仅对森林环境影响极大，而且涉及人民生命和国家财产相关的重要利益。因此，精确掌握火灾的发展演化趋势，准确定位灾情范围和待救援人员位置能大幅提高对森林火灾的预警和应急效率，能为森林火灾防灾减灾提供更有效的辅助决策支持。
[0003]火灾发生的前期和中期往往伴随着大量烟雾的产生，伴随的热浪、湍流、烟雾颗粒对光线的吸收和反射都给无人机机载摄像头等摄影设备带来了巨大的成像困难，不仅造成了影像的亮度变暗，而且容易带来细节纹理不全和颜色失真等现象。此外，无人机飞行过程不稳定、相机抖动等其他因素容易造成图像的鬼影现象，产生模糊和阴影，进一步加大了图像处理和目标识别的难度。
[0004]目前主要采用的图像烟雾去除方法主要分为“基于物理模型”“基于传统图像处理技术”和“基于学习的方法”三大研究方向。基于物理模型的算法通过模拟烟雾在光学传输过程中的物理过程来进行反向烟雾去除，但这种方法往往需要大量的计算资源和对物理学的深入了解，并在多变复杂的林区场景下适应效果较差。而基于传统图像处理技术的算法包括有暗通道先验算法、ZHU提出的颜色衰减先验算法、Arigela等人设计的基于暗通道的非线性正弦函数改进算法等等，尽管各算法取得了一定的成功，但这类基于手工先验知识的方法并不能很好地解决所有问题，且不能有效解决去烟图像重建中所引发的图像失真、纹理模糊问题。基于学习的方法则常常利用卷积神经网络或生成对抗网络模型，通过大量的训练使其拥有去除烟雾的能力。如CAI提出了一种基于卷积神经网络的端对端去雾模型DehazeNet，而Yi采用了多尺度拓扑网络来重建无烟雾图像，ENGIN等人则提出了一种基于循环生成对抗网络的改进去雾网络Cycle
‑
dehaze等等。然而以上神经网络模型均无法很好地解决森林火灾背景下图像所出现的光照不均和颜色失真情况，并对无人机航拍的抖动或连续飞行时造成的图像鬼影都不能很好地修正，严重影响了模型的训练和测试结果。由于林火行为的复杂性及摄影环境的不确定性，目前各主流去烟模型都还没有达到真正的普遍适用，仍存在诸多不足。

技术实现思路

[0005]本专利技术提供一种基于改进Cycle
‑
Dehaze神经网络的单幅图像烟雾快速去除方法，用以解决现有技术中森林火灾监测中存在的烟雾遮挡范围大，火灾特征提取难、图像处理效率低等缺陷。
[0006]本专利技术的技术方案为：一种基于改进Cycle
‑
Dehaze神经网络的火灾图像烟雾去除
方法，包括如下步骤：
[0007]步骤1，收集具有信息相关性的类似室外场景火灾含烟图像和清晰无烟图像作为网络训练数据集，并对所有图像进行预处理；
[0008]步骤2，构建和训练火场图像去烟神经网络，具体包括如下步骤：
[0009]步骤2.1，将预处理后的含烟图像经连续双三次降尺度下采样操作，得到低分辨率含烟火场图F
′
；
[0010]步骤2.2，构建SF
‑
Cycle
‑
Dehaze神经网络，并将F
′
输入SF
‑
Cycle
‑
Dehaze神经网络；
[0011]所述SF
‑
Cycle
‑
Dehaze神经网络是基于Cycle
‑
Dehaze神经网络的改进，由两个生成器(G、F)和两个判别器(P
x
、P
y
)组成，其中设置X为含烟图像，Y为清晰无烟图像，G实现从X
→
Y域映射的生成器，F实现从Y
→
X映射的生成器，(P
x
、P
y
)为对应域的鉴别器，用来判断图像是真是假，即鉴定网络的去烟效能；
[0012]步骤2.3，将含烟图像F
′
输入到生成器G生成无烟图像，然后通过判别器P
x
进行真实性判断；
[0013]步骤2.4，将预处理后的清晰无烟图像经过生成器F生成有烟图像，并经过判别器P
y
进行真实性判断，含烟图像样本和清晰无烟图像样本循环对抗训练，根据判别器结果不断调整神经网络参数，从而提高神经网络的最终去烟效能；
[0014]步骤3，在真实的处理过程中，将经过图像预处理后的含烟火场图像进行双三次向下缩放得低分辨率火场含烟图像，输入到训练好的SF
‑
Cycle
‑
Dehaze神经网络中，待图像经神经网络处理完成后，将对其进行拉普拉斯金字塔简单上采样，恢复为与原始图像分辨率大小的高分辨率火场无烟图像，并作为最终结果进行输出。
[0015]进一步的，步骤1中预处理的具体实现步骤如下；
[0016]步骤1.1，将输入的单张未处理图像由RGB颜色空间映射到HSV颜色空间，分离并获取图像的色调分量图像H、亮度分量图像V和饱和度分量图像S，并对亮度分量图像V进行虚拟多曝光处理，具体实现方式如下：
[0017]步骤1.1.1，获取输入亮度分量图像V中曝光过高和曝光不足的像素灰度值集合，并定义图中两种灰度值集合为：
[0018][0019]Q1为图像中曝光过高的像素灰度值集合，Q2为图像中曝光过低的像素灰度值集合，V(x)代表输入图像的总像素集合，J(x)为图像V的光照分量图。σ1、σ2为森林火灾场景下区分曝光过度和曝光不足的灰度阈值；
[0020]步骤1.1.2，设m为图像曝光比，E为亮度分量图像V的原始曝光量，E
′
为不同曝光量，则有E
′
＝mE，针对亮度分量图像V，采用基于图像信息熵和平均梯度最大化的计算原则，分别计算亮区域和暗区域像素集合的两种最佳曝光比m
chog
和m
chof
；
[0021]图像信息熵：
[0022]平均梯度最大化：
[0023][0024]最佳曝光比：
[0025]上述公式中J为图像灰度级总级数，p
i
表示图像I中某区域灰度出现的概率，M*N为图像大小，I(x，y)为图像在像素点(x，y)处的像素值；
[0026]步骤1.1.3，针对待处理亮度分量图像V中亮区域和暗区域像素灰度值集合，定义根据曝光比m
chog
和m
chof
生成虚拟曝光图像V1、V2的两种亮度转换函数g和f：
[0027][0028]其中V1为增强曝光图像，V2为减弱曝光图像，考虑到亮度转换函数在输入图像亮度值较大时会产生截断而产生亮区丢失，而对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Cycle
‑
Dehaze神经网络的火灾图像烟雾去除方法，其特征在于，包括如下步骤：步骤1，收集具有信息相关性的类似室外场景火灾含烟图像和清晰无烟图像作为网络训练数据集，并对所有图像进行预处理；步骤2，构建和训练火场图像去烟神经网络，具体包括如下步骤：步骤2.1，将预处理后的含烟图像经连续双三次降尺度下采样操作，得到低分辨率含烟火场图F
′
；步骤2.2，构建SF
‑
Cycle
‑
Dehaze神经网络，并将F
′
输入SF
‑
Cycle
‑
Dehaze神经网络；所述SF
‑
Cycle
‑
Dehaze神经网络是基于Cycle
‑
Dehaze神经网络的改进，由两个生成器(、F)和两个判别器(P
x
、P
y
)组成，其中设置X为含烟图像，Y为清晰无烟图像，G实现从X
→
Y域映射的生成器，F实现从Y
→
X映射的生成器，(P
x
、P
y
)为对应域的鉴别器，用来判断图像是真是假，即鉴定网络的去烟效能；步骤2.3，将含烟图像F
′
输入到生成器G生成无烟图像，然后通过判别器P
x
进行真实性判断；步骤2.4，将预处理后的清晰无烟图像经过生成器F生成有烟图像，并经过判别器P
y
进行真实性判断，含烟图像样本和清晰无烟图像样本循环对抗训练，根据判别器结果不断调整神经网络参数，从而提高神经网络的最终去烟效能；步骤3，在真实的处理过程中，将经过图像预处理后的含烟火场图像进行双三次向下缩放得低分辨率火场含烟图像，输入到训练好的SF
‑
Cycle
‑
Dehaze神经网络中，待图像经神经网络处理完成后，将对其进行拉普拉斯金字塔简单上采样，恢复为与原始图像分辨率大小的高分辨率火场无烟图像，并作为最终结果进行输出。2.如权利要求1所述一种基于改进Cycle
‑
Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：步骤1中预处理的具体实现步骤如下；步骤1.1，将输入的单张未处理图像由RGB颜色空间映射到HSV颜色空间，分离并获取图像的色调分量图像H、亮度分量图像V和饱和度分量图像S，并对亮度分量图像V进行虚拟多曝光处理，具体实现方式如下：步骤1.1.1，获取输入亮度分量图像V中曝光过高和曝光不足的像素灰度值集合，并定义图中两种灰度值集合为：Q1为图像中曝光过高的像素灰度值集合，Q2为图像中曝光过低的像素灰度值集合，V(x)代表输入图像的总像素集合，J(x)为图像V的光照分量图。σ1、σ2为森林火灾场景下区分曝光过度和曝光不足的灰度阈值；步骤1.1.2，设m为图像曝光比，E为亮度分量图像V的原始曝光量，E
′
为不同曝光量，则有E
′
＝mE，针对亮度分量图像V，采用基于图像信息熵和平均梯度最大化的计算原则，分别计算亮区域和暗区域像素集合的两种最佳曝光比m
chog
和m
chof
；图像信息熵：平均梯度最大化：
层、一个跳跃连接层、两个“卷积和激活函数LeakREU”层和一个“卷积和激活函数Sigmoid”层构成。5.如权利要求3所述一种基于改进Cycle
‑
Dehaze神经网络的火灾...

【专利技术属性】
技术研发人员：梁启凡，孟庆祥，刘劲春，张桐赫，
申请(专利权)人：武汉大学，
类型：发明
国别省市：