一种基于深度学习的可见光红外融合视觉里程计方法技术

本发明专利技术公开了一种基于深度学习的可见光红外融合视觉里程计方法，属于视觉里程计技术领域，该方法包括利用相机获得环境的红外图像和可见光图像；利用二维离散小波变换分别对环境的红外图像和可见光图像进行分解，并利用单色阈值融合方法对分解得到的红外图像近似分量、红外图像细节分量、可见光图像近似分量和可见光图像细节分量进行加权平均融合，得到融合图像；构建改进RCNN网络，将融合图像作为输入图像帧，训练改进RCNN网络，得到预测模型；获取待测数据，并根据待测数据，利用预测模型得到相机运动的预测轨迹，完成视觉里程计。本发明专利技术解决了视觉里程计方法中，红外图像缺乏细节纹理、对比度低，在光线充足的环境下，精度低的问题。问题。问题。

【技术实现步骤摘要】
一种基于深度学习的可见光红外融合视觉里程计方法


[0001]本专利技术属于视觉里程计
，尤其涉及一种基于深度学习的可见光红外融合视觉里程计方法。

技术介绍

[0002]视觉里程计(Visual Odometry,VO)通过从相机获取的一组连续图像序列估计自身运动，在过去的几十年里，它引起了机器人和无人驾驶行业的广泛关注。然而，大多数VO方法都是为可见光相机设置开发的，在光照不足或存在烟雾的场景下，其性能会降低甚至失效，而红外成像不受光照条件或空气微粒的影响。因此，研究人员试图利用红外传感器来扩展现有的VO方法。
[0003]红外相机通过感知环境中的红外辐射产生图像，但以下缺点导致红外相机并不能直接使用于现有的VO算法中：1、红外图像缺乏足够的特征来获得精确的位姿估计，即使提取的特征也依赖于环境的温度梯度。2、红外相机通过非均匀性校正(Non
‑
Uniformity Correction,NUC)操作周期性清除相机噪声，在执行NUC期间相机将会被冻结，造成图像序列前后帧不连续。如何将红外相机应用在VO中是一个亟待解决的问题。
[0004]近十年来，深度学习技术通过直接从数据中学习非线性映射函数来自动提取显著特征得到了快速发展。相比于传统的几何学方法，基于深度学习的VO无需提取手工特征和建立复杂的几何约束，在提取特征时更关注图像的几何信息而非外观信息。
[0005]因为深度学习能够从普通输入中提取深度特征，甚至包括人为不可理解的高维特征。因此，对于光照条件变化具有鲁棒性的红外图像数据，可以通过深度学习的方式在可见光VO的基础上融合红外数据信息，利用深度神经网络学习的特征推算自由度位姿，来估计相机运动。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供的一种基于深度学习的可见光红外融合视觉里程计方法解决了视觉里程计方法中，红外图像缺乏细节纹理、对比度低，在光线充足的环境下，精度低的问题。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于深度学习的可见光红外融合视觉里程计方法，包括以下步骤：
[0008]S1、利用相机获取环境的红外图像和可见光图像，并利用二维离散小波变换分别对红外图像和可见光图像进行分解，得到红外图像近似分量、红外图像细节分量、可见光图像近似分量和可见光图像细节分量；
[0009]S2、利用单色阈值融合方法对红外图像近似分量、红外图像细节分量、可见光图像近似分量和可见光图像细节分量进行加权平均融合，得到融合图像；
[0010]S3、构建改进RCNN网络，将融合图像作为输入图像帧，训练改进RCNN网络，得到预测模型；所述改进RCNN网络的损失函数为：
[0011][0012]其中，θ
*
为改进RCNN网络的损失函数，表示改进RCNN网络的最优参数；argmin
θ
为；N为改进RCNN网络每批次处理的图像序列个数；i为图像序列编号；z为每个姿态状态量的个数；为平移的向量预测值；p
z
为平移的向量真值；为旋转的欧拉角预测值；φ
z
为旋转的欧拉角真值；||
·
||2为2范数；
[0013]S4、获取待测数据，并根据待测数据，利用预测模型得到相机运动的预测轨迹，完成视觉里程计。
[0014]本专利技术的有益效果为：本专利技术结合了红外图像和可见光图像两种图像的特点，得到的融合图像充分发挥了两种图像的优势，获得了更丰富的边缘信息和更多的环境纹理。针对融合图像，设计了一个有监督的深度学习视觉里程计框架，网络结构整体采用RCNN网络，因为其学习方式是对提取的特征序列进行建模，可以充分利用几何特征解决红外图像缺少纹理的问题。其次使用Bi
‑
LSTM改进RCNN中的RNN部分，通过既学习序列正向传播也学习反向传播的方式，使序列建模既依赖于前向传播也依赖于后向传播，鲁棒地解决红外相机NUC导致的前后帧之间不连续的问题。
[0015]进一步地，所述步骤S1具体为：
[0016]S101、获取环境的红外图像和可见光图像；
[0017]S102、根据红外图像，利用二维离散小波变换进行分解重构，得到红外图像近似分量和红外图像细节分量：
[0018][0019]其中，为红外图像的采样数据；n为红外图像的采样数据像素的行号，对应于X方向的采样；m为红外图像的采样数据像素的列号，对应于Y方向的采样；h
n
‑
2k
为红外图像行方向的低通滤波；h
m
‑
2l
为红外图像列方向的低通滤波；g
n
‑
2k
为红外图像行方向的高通滤波；g
m
‑
2l
为红外图像列方向的高通滤波；n
‑
2k为红外图像行方向的2倍间隔采样；m
‑
2l为红外图像列方向的2倍间隔采样；k和l分别为重构的红外图像的像素行号和像素列号；为红外图像近似分量；为红外图像细节分量中竖直方向的高频分量，即垂直细节；为红外图像细节分量中水平方向的高频分量，即水平细节；为红外图像细节分量中对角线方向的高频分量，即对角线细节；
[0020]S103、根据可见光图像，利用二维离散小波变换进行分解重构，得到可见光图像近似分量和可见光图像细节分量：
[0021][0022]其中，为可见光图像的采样数据；n'为可见光图像的采样数据像素的行号，对应于X方向的采样；m'为可见光图像的采样数据像素的列号，对应于Y方向的采样；h
n'
‑
2k'
为可见光图像行方向的低通滤波；h
m'
‑
2l'
为可见光图像列方向的低通滤波；g
n'
‑
2k'
为可见光图像行方向的高通滤波；g
m'
‑
2l'
为可见光图像列方向的高通滤波；n'
‑
2k'为可见光图像行方向的2倍间隔采样；m'
‑
2l'为可见光图像列方向的2倍间隔采样；k'和l'分别为重构的可见光图像的像素行号和像素列号；为可见光图像近似分量；为可见光图像细节分量中竖直方向的高频分量，即垂直细节；为可见光图像细节分量中水平方向的高频分量，即垂直细节；为可见光图像细节分量中对角线方向的高频分量，即对角线细节。
[0023]上述进一步方案的有益效果为：在变换的每一层中，将可见光图像和红外图像分别分解为四张较小的图像，即对应的近似分量和细节分量，分别为原始图像的1/4大小，而后根据对应的近似分量和细节分量进行重构，为获取融合图像做准备。
[0024]进一步地，所述步骤S2具体为：
[0025]S201、设置温度阈值；
[0026]S202、根据红外图像近似分量、红外图像细节分量和温度阈值，得到叠加图像：
[0027][0028]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的可见光红外融合视觉里程计方法，其特征在于，包括以下步骤：S1、利用相机获取环境的红外图像和可见光图像，并利用二维离散小波变换分别对红外图像和可见光图像进行分解，得到红外图像近似分量、红外图像细节分量、可见光图像近似分量和可见光图像细节分量；S2、利用单色阈值融合方法对红外图像近似分量、红外图像细节分量、可见光图像近似分量和可见光图像细节分量进行加权平均融合，得到融合图像；S3、构建改进RCNN网络，将融合图像作为输入图像帧，训练改进RCNN网络，得到预测模型；所述改进RCNN网络的损失函数为：其中，θ
*
为改进RCNN网络的损失函数，表示改进RCNN网络的最优参数；argmin
θ
为；N为改进RCNN网络每批次处理的图像序列个数；i为图像序列编号；z为每个姿态状态量的个数；为平移的向量预测值；p
z
为平移的向量真值；为旋转的欧拉角预测值；φ
z
为旋转的欧拉角真值；||
·
||2为2范数；S4、获取待测数据，并根据待测数据，利用预测模型得到相机运动的预测轨迹，完成视觉里程计。2.根据权利要求1所述基于深度学习的可见光红外融合视觉里程计方法，其特征在于，所述步骤S1具体为：S101、获取环境的红外图像和可见光图像；S102、根据红外图像，利用二维离散小波变换进行分解重构，得到红外图像近似分量和红外图像细节分量：其中，为红外图像的采样数据；n为红外图像的采样数据像素的行号，对应于X方向的采样；m为红外图像的采样数据像素的列号，对应于Y方向的采样；h
n
‑
2k
为红外图像行方向的低通滤波；h
m
‑
2l
为红外图像列方向的低通滤波；g
n
‑
2k
为红外图像行方向的高通滤波；g
m
‑
2l
为红外图像列方向的高通滤波；n
‑
2k为红外图像行方向的2倍间隔采样；m
‑
2l为红外图像列方向的2倍间隔采样；k和l分别为重构的红外图像的像素行号和像素列号；为红外图像近似分量；为红外图像细节分量中竖直方向的高频分量，即垂直细节；为红外图像细节分量中水平方向的高频分量，即水平细节；为红外图像细节分量中对角线方向的高频分量，即对角线细节；S103、根据可见光图像，利用二维离散小波变换进行分解重构，得到可见光图像近似分量和可见光图像细节分量：
其中，为...

【专利技术属性】
技术研发人员：肖卓凌，董显威，宁思鉴，陈柏宇，张可宇，阎波，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：