基于深度学习的高光谱和激光雷达4D防抖融合方法及系统技术方案

本发明专利技术公开了一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。所述方法：1）激光雷达采集得到的点云首先通过已知内参进行3D

【技术实现步骤摘要】
基于深度学习的高光谱和激光雷达4D防抖融合方法及系统


[0001]本专利技术涉及高光谱与激光雷达数据融合领域，特别是涉及一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。

技术介绍

[0002]在智能自动化设备中，为了克服单一传感器的信息维度感知缺陷，越来越多的应用需要多传感器融合技术。
[0003]在智能驾驶和智能机器人技术中，高光谱相机和激光雷达的数据融合技术备受瞩目。一方面，高光谱相机可以同时采集一个目标的多个波段的光谱信息，其丰富的光谱特征为目标识别、语义分割以及物质属性分析和分类等奠定了坚实基础；另一方面，激光雷达可以获得目标精确的3D点云数据，对目标的距离、形状、大小和体积等数据的感知具有重要价值。
[0004]但目前高光谱图像和激光雷达的4D信息融合技术大都是基于标定板进行外参标定实现的，需要繁杂的标定步骤和大量的人力付出，这限制了高光谱相机和激光雷达之间数据融合的效率。同时，现有技术对高光谱相机和激光雷达之间的外参大都是一次标定，在后续使用过程中标定参数不再改变，这导致了其在长期抖动环境下因实际外参改变而带来的融合精度下降问题。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术的目的是提供一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。本专利技术可实现在设备机械抖动条件下快速精确采集高光谱形貌4D融合信息，有助于目标识别、语义分割、物质属性分析、精确定位等应用。
[0006]一种基于深度学习的高光谱和激光雷达4D防抖融合方法，步骤如下：1）激光雷达采集得到的点云首先通过已知内参进行3D
‑
2D空间变换，生成相应的深度图；2）该深度图和高光谱图像被一起输入进HLFN（高光谱相机和激光雷达融合网络）中，HLFN分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r通过罗德里格斯公式(SE(3))变换成旋转矩阵R，最终生成一个预测变换矩阵T，该矩阵指明了高光谱相机与激光雷达之间的外参关系；4）原始点云再通过预测变换矩阵T进行3D
‑
3D空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4D融合数据。
[0007]所述HLFN训练方法，步骤如下：2.1）用真实变换矩阵对点云进行3D
‑
3D空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；2.2）将点云和高光谱图像按照所述的步骤1）至步骤3）计算得出预测变换矩阵；
2.3）用预测变换矩阵对点云进行3D
‑
3D空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；2.4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；2.5）最终的损失是2.4）中所述三个损失之和，并由三个超参数平衡它们；2.6）通过反向传播，HLFN网络参数不断迭代训练，使损失函数最小化。
[0008]步骤2.1）中真实变换矩阵由高光谱相机和激光雷达使用传统外参标定方法获得。
[0009]2.6）所述的损失函数，分别是光谱损失、光度损失和几何损失。
[0010]所述的光度损失：光度损失计算对照深度图与校正深度图所有相同位置的像素值的差值之和；所述的光谱损失：光谱损失计算对照光谱图与校正光谱图所有相同位置的光谱向量的距离之和；所述的几何损失：几何损失计算对照点云和校正点云之间的空间距离。
[0011]所述的HLFN网络结构：深度图和高光谱图像首先分别经过两个由卷积层构成的用于特征提取的分支，然后再将它们的特征串联起来，并再通过7个卷积层进行深度特征融合，最后融合特征被分为两个分支，每个分支各自经过一个1
×
1的卷积和一个全连接层，分别得到旋转向量r和平移向量t。
[0012]一种采用所述的方法的装置，包括高光谱相机模块、激光雷达模块、电源模块、无线通信模块、上位机模块、显示模块、信息处理和控制模块、高光谱图像和点云防抖融合模块；所述的信息处理和控制模块分别与高光谱相机模块、激光雷达模块、电源模块、高光谱图像和点云防抖融合模块相连，所述的信息处理和控制模块通过无线通信模块与上位机模块相连；所述的信息处理和控制模块用于信息处理和控制相连模块；所述的高光谱相机模块用于获取目标物体的高光谱信息；所述的激光雷达模块用于获取目标物体的点云数据；所述的高光谱图像和点云防抖融合模块用于高光谱图像和点云数据的4D防抖融合；所述的电源模块用于供电；所述的无线通信模块用于上位机模块与信息处理和控制模块之间传输数据。
[0013]所述的上位机模块设有高光谱相机和激光雷达标定模块，受上位机模块的调用，用于高光谱相机和激光雷达之间的外参标定。
[0014]所述的高光谱相机模块包括电光可调谐滤波片和高速CCD相机。
[0015]所述的高光谱相机模块进一步包括一个RGB相机，与所述的高速CCD相机组合成共轭模式。
[0016]本专利技术的有益效果：现有技术，高光谱相机和激光雷达之间外参的标定主要依赖标定板，需要繁杂的步骤和大量的人力，这限制了高光谱相机和激光雷达之间数据融合的效率。同时，现有技术对高光谱相机和激光雷达之间的外参都是硬标定的，即一次标定，后续使用过程中标定参数不再改变，这导致了其在长期抖动环境下因实际外参改变而带来的融合精度下降问题。
以往的方法，在抖动环境下要么无法得到精确的融合数据，要么需要多次重新标定，十分耗时耗力。
[0017]本专利技术通过训练一个高光谱相机和激光雷达融合网络(HLPN)，在实际使用中可以实现：（1）不需要标定板即可快速准确获得高光谱相机和激光雷达之间的变换矩阵，从而实现准确地4D信息融合；（2）能够对环境的抖动干扰进行抑制，在抖动环境下，HLPN会实时计算高光谱相机和激光雷达之间的外参，可以稳定地进行精确4D融合而不受抖动的干扰。本专利技术在自动化生产线或机器人等具有长期抖动环境下的应用具有重大优势，一方面高光谱图像可以帮助进行目标识别、语义分割、物质属性分析等应用，另一方面点云提供了目标的尺寸大小距离等重要信息。本专利技术为高光谱相机和激光雷达之间的鲁棒精确融合和稳定工作奠定了应用基础。
附图说明
[0018]图1为本专利技术的模块示意图。
[0019]图2为本专利技术的高光谱图像和点云防抖融合模块示意图。
[0020]图3为本专利技术中用于训练HLPN的示意图。
[0021]图4为本专利技术中的HLPN的网络结构图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]如图1所示，一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的高光谱和激光雷达4D防抖融合方法，其特征在于：步骤如下：1）激光雷达采集得到的点云首先通过已知内参进行3D
‑
2D空间变换，生成相应的深度图；2）该深度图和高光谱图像被一起输入进HLFN（高光谱相机和激光雷达融合网络）中，HLFN分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r通过罗德里格斯公式(SE(3))变换成旋转矩阵R，最终生成一个预测变换矩阵T，该矩阵指明了高光谱相机与激光雷达之间的外参关系；4）原始点云再通过预测变换矩阵T进行3D
‑
3D空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4D融合数据。2.根据权利要求1所述的方法，其特征在于：所述HLFN训练方法，步骤如下：2.1）用真实变换矩阵对点云进行3D
‑
3D空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；2.2）将点云和高光谱图像按照所述的步骤1）至步骤3）计算得出预测变换矩阵；2.3）用预测变换矩阵对点云进行3D
‑
3D空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；2.4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；2.5）最终的损失是2.4）中所述三个损失之和，并由三个超参数平衡它们；2.6）通过反向传播，HLFN网络参数不断迭代训练，使损失函数最小化。3.根据权利要求2所述的方法，其特征在于：步骤2.1）中真实变换矩阵由高光谱相机和激光雷达使用传统外参标定方法获得。4.根据权利要求2所述的方法，其特征在于：2.6）所述的损失函数，分别是光谱损失、光度损失和几何损失。5.根据权利要求2或者4所述...

【专利技术属性】
技术研发人员：何赛灵，马腾飞，付帅，
申请(专利权)人：浙江大学，
类型：发明
国别省市：