基于多传感器图像增强优化的多通道图像融合方法及系统技术方案

本发明专利技术提供了基于多传感器图像增强优化的多通道图像融合方法及系统，包括：获取包含

【技术实现步骤摘要】
基于多传感器图像增强优化的多通道图像融合方法及系统


[0001]本专利技术涉及图像融合处理
，尤其涉及一种基于多传感器图像增强优化的多通道图像融合方法及系统
。

技术介绍

[0002]微光图像融合方法是一种用于将来自微光传感器
(
夜视设备
、
红外相机等
)
捕获的图像与可见光传感器
(
普通摄像机
)
捕获的图像进行融合的技术，这样的融合可以在光照不足或者完全黑暗的环境中提供更加清晰和细节丰富的图像，有助于增强目标检测
、
识别和监视等应用的性能；微光图像融合方法在军事
、
安防
、
夜间驾驶等领域有着广泛的应用，它可以帮助人们在低光照条件下更好地感知和理解环境，提高任务执行的效率和准确性
。
[0003]目前，现有的微光图像融合方法通常包括：
[0004]1、
多数采用传统的融合方法，比如多尺度变换融合
、
基于子空间融合
、
基于显著性融合等；虽然这些方法已经能够取得不错的融合效果，但是这些方式均依赖于预定义的变换模式和相应的尺度分量对源图像进行分解和重构，且传统融合方法受限于设计规则，无法充分捕捉图像的复杂特征；
[0005]2、
少数采用基于深度学习的融合方法，与传统的融合方法相比，基于深度学习的融合目标是通过结合来自不同传感器的互补信息来提供信息丰富的融合图像；现有的基于学习的融合方法试图构建各种损失函数来保留不同通路源图像的互补特征，而忽略了发现不同通路之间的相互关系，导致融合结果中存在冗余甚至无效的信息，而且，它们大多侧重于随着网络层数的增加对网络进行强化，而忽略了特征传递的重要性，导致重要信息退化，融合效果受损
。
[0006]因此，目前亟需一种能够对微光图像进行图像增强优化，且在有效保留图像中光照强度和前
/
后景信息的同时，减少在学习过程中网络出现有效信息的缺失和无效信息冗余现象的多通道图像融合方法
。

技术实现思路

[0007]为了充分捕捉图像的复杂特征，使其在对微光图像进行图像增强优化，进而在有效保留图像中光照强度和前
/
后景信息的同时，减少网络在学习过程中出现有效信息的缺失和无效信息冗余现象，本专利技术的其中一方面提供了一种基于多传感器图像增强优化的多通道图像融合方法，所述方法包括以下步骤：
[0008]步骤
S1
：获取包含
EBCMOS
图像
、
可见光黑白图像
、
近红外图像的微光图像数据集，进而根据所述微光图像数据集，进行数据预处理；
[0009]步骤
S2
：根据经过数据预处理的微光图像数据集，进行图像优化增强，包括：直方图均衡化
、
增强对比度
、
多尺度增强；
[0010]步骤
S3
：根据经过图像优化增强的微光图像数据集，进行光度特征信息提取，包括：构建光照感知信息提取的多级注意力模型，进而构建光度信息提取网络输出图像的光
度概率，构建提取相同目标公共重要特征的辅助模块，进而使用卷积降维的方法保留筛选出的最优特征；
[0011]步骤
S4
：根据微光图像数据集包含的图片，训练多通路图像融合框架，包括：合成学习阶段和逆向优化阶段，进而将合成学习阶段和逆向优化阶段融合形成多通路图像融合框架；
[0012]步骤
S5
：将经过数据预处理后的图片输入多通路图像融合框架，输出融合后的图像
。
[0013]优选地，所述数据预处理的方法为：
[0014]步骤
S10
：使用基于半手动特征匹配的方法进行多通路图像间的配准，输出与标定相机尺寸相同的配准图片；
[0015]步骤
S11
：将配准图片的公共区域进行裁剪，保留预设目标；
[0016]步骤
S12
：对低于预设照度值的图像使用
LPDM
方法进行图像增强
。
[0017]优选地，所述使用基于半手动特征匹配的方法进行多通路图像间的配准的方法为：
[0018]步骤
S100
：利用手动控制点选择的方法将不同通路的图像分别与标定相机图像进行组合，手动选取一组预设数量特征明显
、
目标突出的对应点，进而通过最小二乘法计算出相应的单应矩阵；
[0019]步骤
S101
：对任意一组图像，采用编码的方法，在相同的实验环境下利用所述单应矩阵实现自动化图像配准
。
[0020]优选地，直方图均衡化的图像优化增强的方法为：
[0021]步骤
S20
：输入经过数据预处理的图像
I(x,y)
，生成输入图像的直方图
H(i)
，其中，
i∈[0,L
‑
1]，表示灰度级别
i
的像素数量；
[0022]步骤
S21
：计算累积分布函数：
[0023]，
[0024]对于每个像素点，将其灰度值映射到新的灰度值：
[0025][0026]其中，输入图像
I(x,y)
的灰度范围为
[0,L
‑
1]，
(x,y)
是像素点，
L
是灰度级别数量，
M
和
N
是图像的宽度和高度，
CDF
min
是第一个非零元素的累积分布函数值
。
[0027]优选地，增强对比度的图像优化增强的方法为：
[0028]步骤
S22
：对于每个像素点，将其灰度值映射到新的灰度值：
[0029][0030]其中，
I
max
是输入图像的最大像素值，
I
min
是输入图像的最小像素值
。
[0031]优选地，直方图均衡化与增强对比度组合使用的图像优化增强的方法为：
[0032]步骤
S23
：对于每个像素点，将直方图均衡化和增强对比度后的灰度值进行加权组合，得到增强后的灰度值：
[0033]I
final
(x,y)
＝
a
×
I
enhanced
(x,y)+(1
‑
a)
×
I
eq
(x,y)
[0034]其中，
a
是权重参数，
a
的取值范围为0‑
1。
[0035]优选地，多尺度增强的图像优化增强的方法为：
[0036]步骤<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，所述方法包括以下步骤：步骤
S1
：获取包含
EBCMOS
图像
、
可见光黑白图像
、
近红外图像的微光图像数据集，进而根据所述微光图像数据集，进行数据预处理；步骤
S2
：根据经过数据预处理的微光图像数据集，进行图像优化增强，包括：直方图均衡化
、
增强对比度
、
多尺度增强；步骤
S3
：根据经过图像优化增强的微光图像数据集，进行光度特征信息提取，包括：构建光照感知信息提取的多级注意力模型，进而构建光度信息提取网络输出图像的光度概率，搭建提取相同目标公共重要特征的辅助模块，进而使用卷积降维的方法保留筛选出的最优特征；步骤
S4
：根据微光图像数据集包含的图片，训练多通路图像融合框架，包括：合成学习阶段和逆向优化阶段，进而将合成学习阶段和逆向优化阶段融合形成多通路图像融合框架；步骤
S5
：将经过数据预处理后的图片输入多通路图像融合框架，输出融合后的图像
。2.
根据权利要求1的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，所述数据预处理的方法为：步骤
S10
：使用基于半手动特征匹配的方法进行多通路图像间的配准，输出与标定相机尺寸相同的配准图片；步骤
S11
：将配准图片的公共区域进行裁剪，保留预设目标；步骤
S12
：对低于预设照度值的图像使用
LPDM
方法进行图像增强
。3.
根据权利要求1的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，所述使用基于半手动特征匹配的方法进行多通路图像间的配准的方法为：步骤
S100
：利用手动控制点选择的方法将不同通路的图像分别与标定相机图像进行组合，手动选取一组预设数量特征明显
、
目标突出的对应点，进而通过最小二乘法计算出相应的单应矩阵；步骤
S101
：对任意一组图像，采用编码的方法，在相同的实验环境下利用所述单应矩阵实现自动化图像配准
。4.
根据权利要求1的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，直方图均衡化的图像优化增强的方法为：步骤
S20
：输入经过数据预处理的图像
I(x,y)
，生成输入图像的直方图
H(i)
，其中，
i∈[0,L
‑
1]
，表示灰度级别
i
的像素数量；步骤
S21
：计算累积分布函数：，对于每个像素点，将其灰度值映射到新的灰度值：其中，输入图像
I(x,y)
的灰度范围为
[0,L
‑
1]
，
(x,y)
是像素点，
L
是灰度级别数量，
M
和
N
是图像的宽度和高度，
CDF
min
是第一个非零元素的累积分布函数值
。5.
根据权利要求1的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，增强对比度的图像优化增强的方法为：步骤
S22
：对于每个像素点，将其灰度值映射到新的灰度值：其中，
I
max
是输入图像的最大像素值，
I
min
是输入图像的最小像素值
。6.
根据权利要求4或5的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，直方图均衡化与增强对比度组合使用的图像优化增强的方法为：步骤
S23
：对于每个像素点，将直方图均衡化和增强对比度后的灰度值进行加权组合，得到增强后的灰度值：
l
final
(x,y)
＝
a
×
l
enhanced
(x,y)+(1
‑
a)
×
I
eq
(x,y)
其中，
a
是权重参数，
a
的取值范围为0‑
1。7.
根据权利要求1的一种基于多传感器图像增强优化的多通道图像融合方法，其特征在于，多尺度增强的图像优化增强的方法为：步骤
S24
：使用小波变换将输入图像进行分解，得到至少一个高频子带和低频子带：其中，
B
j

【专利技术属性】
技术研发人员：刘煜，赖世铭，谭瀚霖，刘姝，王科选，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：