融合可见光和热成像图像的低照度图像增强方法技术

本发明专利技术公开了一种融合可见光和热成像图像的低照度图像增强方法，属于计算机视觉领域。本发明专利技术采用限制对比度的自适应直方图均衡化算法增强可见光图像的对比度，采用伽马变换扩展低灰度区域的对比度，以深度神经网络模型融合热成像图像、可见光图像和上述两种经对比度增强的图像，从而实现了对低照度图像的增强。由实验结果可知，本发明专利技术提供的方法通过引入经伽马变换和自适应直方图均衡化的增强图像能有效提升低照度区域的对比度，通过融合热成像图像使得车灯等高光区域能呈现部分细节。成像图像使得车灯等高光区域能呈现部分细节。成像图像使得车灯等高光区域能呈现部分细节。

【技术实现步骤摘要】
融合可见光和热成像图像的低照度图像增强方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种融合可见光成像和热成像图像的低照度图像增强方法。

技术介绍

[0002]视频监控系统可能面对夜晚、阴雨天、逆光等恶劣成像条件，单一地采用可见光成像往往无法从场景中提取足够的信息，从而降低后续的目标检测、识别和跟踪等系统的性能。红外热成像将物体发出的红外能量转化成可见的热图像，融合可见光图像和热成像图像为低光照场景目标检测和跟踪提供了解决方案，同时，也对图像融合技术提出了现实的需求。
[0003]中国专利201811207545.4公开了一种基于小波融合的快速移动物体热成像图像与光学图像融合方法；中国专利202110125517.3公开了一种融合可见光图像梯度信息的热成像超分辨率重建方法；中国专利202010135485.0公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法。
[0004]考虑到低光照成像的图像对比度较小，目标检测和跟踪等应用的感兴趣区域往往湮没在背景区域中，因此如何对低照度图像进行增强，是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术的目的在于解决现有技术存在的问题，提供一种融合可见光和热成像图像的低照度图像增强方法，
[0006]本专利技术具体采用的技术方案如下：
[0007]一种融合可见光和热成像图像的低照度图像增强方法，其包括如下步骤：
[0008]S1、获取由样本对组成的训练数据集，所述样本对中包含一张可见光成像图像I
v
以及一张与图像I
v
大小相同且配准的热成像图像I
r
；针对每一组样本对，首先采用伽马值γ＜1的伽马变换扩展图像I
v
的对比度，形成增强图像I
g
，然后以限制对比度自适应直方图均衡化算法对可见光成像图像I
v
进行对比度增强处理，形成增强图像I
e
，最后将(I
v
,I
r
,I
g
,I
e
)构建为一组输入数据；
[0009]S2、构建用于融合可见光和热成像图像的深度卷积神经网络，其包括级联的特征提取模块、融合模块和重建模块；将深度卷积神经网络的输入数据I
v
、I
r
、I
g
和I
e
分别作为输入图像输入到特征提取模块，各自产生的特征图一并输入到融合模块中并采用对应元素相加的形式产生融合后的特征图，融合后的特征图再输入到重建模块，由重建模块输出结果图像
[0010]S3、利用所述训练数据集对所述用于融合可见光和热成像图像的深度卷积神经网络进行训练，以最小化总损失函数为目标，通过学习的方式优化各个网络层中的权值参数；其中对于训练数据集中每一组输入数据(I
v
,I
r
,I
g
,I
e
)，获得对应输出的结果图像随机选取I
g
或I
e
作为参考图像I'，则总损失函数计算公式为：
[0011]L＝λL
ssim
+L
p
[0012]其中：L
ssim
为结构相似性损失函数，L
p
为像素均方误差损失函数，λ为调节L
ssim
重要程度的系数；L
ssim
和L
p
的计算公式分别为：
[0013][0014][0015]其中：I'为参考图像，SSIM()代表结构相似性指数函数，||
·
||2代表2
‑
范数；
[0016]S4、将待处理的可见光成像图像以及对应的热成像图像，按照与所述训练数据集中的样本对相同的方式构建为一组输入数据，将其输入经过训练后的用于融合可见光和热成像图像的深度卷积神经网络中，输出经过低照度图像增强后的结果图像。
[0017]作为优选，所述S1中，伽马变换的变换公式如下：
[0018]g＝v
γ
[0019]其中v∈[0,1]代表图像I
v
中任意像素的灰度值，g代表经伽马变换后的增强图像I
g
中与v对应像素的灰度值。
[0020]作为优选，所述特征提取模块中，按数据前向传播时的流向，特征提取模块的输入图像首先经过一个包含16个3
×
3卷积核且卷积步长为1的卷积层；接在该卷积层之后的为依次连接的N个残差块；每个残差块具有相同的三层结构，依次为包含64个3
×
3卷积核且卷积步长为1的卷积层、PReLU层和包含16个3
×
3卷积核且卷积步长为1的卷积层，残差块的输入为x，经过残差块中最后一层卷积层的输出为f(x)，则以f(x)+x作为残差块的最终输出。
[0021]进一步的，所述N为大于4小于8的整数。
[0022]作为优选，所述重建模块包含4个卷积层，融合后的特征图依次经过卷积层Conv1、卷积层Conv2、卷积层Conv3，最后由卷积层Conv4输出最终的增强图像；其中卷积层Conv1、卷积层Conv2、卷积层Conv3和卷积层Conv4分别包含64、32、16和C个3
×
3卷积核，其中C为输出的结果图像的通道数；重建模块中所有4个卷积层的卷积步长都为1，且每个卷积层之后接一个ReLU层。
[0023]进一步的，对于灰度图像C＝1，对于彩色图像C＝3。
[0024]作为优选，所述以限制对比度自适应直方图均衡化算法对可见光成像图像I
v
进行对比度增强处理的方法为：
[0025]将输入的可见光成像图像I
v
划分成一系列B
×
B的子块，其中B为预设的子块大小，统计每个子块的灰度直方图H；遍历每一个子块，若灰度直方图H中对应灰度级i的幅值H
i
超过一个预设的阈值h，则将灰度级i作为待处理灰度级，将灰度直方图H中所有待处理灰度级的H
i
和h的差值进行累加，且将上述差值的累加和均匀地分配到灰度直方图H中所有灰度级的幅值上，得到修正后的直方图，最后以修正后的直方图为输入对子块实施直方图均衡化算法；将所有子块实施上述直方图均衡化算法后的新子块重新拼接，形成增强图像I
e
。
[0026]相对于现有技术而言，本专利技术的有益效果如下：
[0027]本专利技术采用限制对比度的自适应直方图均衡化算法增强可见光图像的对比度，采用伽马变换扩展低灰度区域的对比度，以深度神经网络模型融合热成像图像、可见光图像和上述两种经对比度增强的图像，从而实现了对低照度图像的增强。由实验结果可知，本发
明提供的方法通过引入经伽马变换和自适应直方图均衡化的增强图像能有效提升低照度区域的对比度，通过融合热成像图像使得车灯等高光区域能呈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合可见光和热成像图像的低照度图像增强方法，其特征在于，包括如下步骤：S1、获取由样本对组成的训练数据集，所述样本对中包含一张可见光成像图像I
v
以及一张与图像I
v
大小相同且配准的热成像图像I
r
；针对每一组样本对，首先采用伽马值γ＜1的伽马变换扩展图像I
v
的对比度，形成增强图像I
g
，然后以限制对比度自适应直方图均衡化算法对可见光成像图像I
v
进行对比度增强处理，形成增强图像I
e
，最后将(I
v
,I
r
,I
g
,I
e
)构建为一组输入数据；S2、构建用于融合可见光和热成像图像的深度卷积神经网络，其包括级联的特征提取模块、融合模块和重建模块；将深度卷积神经网络的输入数据I
v
、I
r
、I
g
和I
e
分别作为输入图像输入到特征提取模块，各自产生的特征图一并输入到融合模块中并采用对应元素相加的形式产生融合后的特征图，融合后的特征图再输入到重建模块，由重建模块输出结果图像S3、利用所述训练数据集对所述用于融合可见光和热成像图像的深度卷积神经网络进行训练，以最小化总损失函数为目标，通过学习的方式优化各个网络层中的权值参数；其中对于训练数据集中每一组输入数据(I
v
,I
r
,I
g
,I
e
)，获得对应输出的结果图像随机选取I
g
或I
e
作为参考图像I'，则总损失函数计算公式为：L＝λL
ssim
+L
p
其中：L
ssim
为结构相似性损失函数，L
p
为像素均方误差损失函数，λ为调节L
ssim
重要程度的系数；L
ssim
和L
p
的计算公式分别为：的计算公式分别为：其中：I'为参考图像，SSIM()代表结构相似性指数函数，||
·
||2代表2
‑
范数；S4、将待处理的可见光成像图像以及对应的热成像图像，按照与所述训练数据集中的样本对相同的方式构建为一组输入数据，将其输入经过训练后的用于融合可见光和热成像图像的深度卷积神经网络中，输出经过低照度图像增强后的结果图像。2.根据权利要求1所述的融合可见光...

【专利技术属性】
技术研发人员：陈卫刚，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：