【技术实现步骤摘要】
本专利技术涉及煤矿井下三维建模及自动导航领域，专注于煤矿井下自动驾驶、三维重构，具体是一种基于激光雷达和双目视觉自适应融合方法。
技术介绍
1、在煤矿井下恶劣环境下，巷道中经常存在高粉尘、高湿气、低照度等问题，传统采用单一传感器的方式，受环境干扰影响非常严重，传统的采用单一传感器实现井下数据采集，其建模精度和地理信息很难满足生产使用需求。
2、激光雷达具有抗干扰能力强的特点，在煤矿井下工作时，可以穿透煤矿巷道内的粉尘，绕过巷道内的湿气、自主发射激光而不受环境中低照度的影响，可以较好的适应煤矿井下恶劣环境，但是激光雷达扫描精度低，并且无法观看到物体的纹路、色彩等详细的纹理信息。视觉系统能够很好的记录物体的纹理信息，但是经常受到井下粉尘、湿气的影响，造成视觉扫描效果不佳，并且煤矿井下光照不足，造在遇到暗光或者强光等条件式，视觉系统扫描得到的图像不清晰，使用效果不显著。为此，利用激光雷达抗干扰能力强，视觉系统能清晰的刻录物体纹理细节的优势，将激光雷达与视觉系统进行有效的融合，形成激光雷达融合系统，能够获取煤矿井下环境下，更清晰的煤矿井下三维模型，实现目标快速识别。
3、随着煤矿井下透明地质的发展，要求能够快速建立整个巷道的三维模型，并清晰展示其中的具体细节信息。传统的单一传感器建模精度低、易受环境影响、纹理信息缺失，严重制约了煤矿井下透明地质的发展。因此，急需开展多传感器融合技术研究，实现煤矿井下建模的高精度、抗干扰能力强，能详细展示细节纹理信息的巷道三维建模目标识别系统。
4、当前的技术方法将激光
5、特征融合法是基于深度学习技术，实现激光雷达点云特征图自动匹配，实现最大化利用点云所包含的多模态信息，从而增强检测性能。然而，雷达点云本身天然稀疏，尤其是经过滤波后，点云数量远少于图像数量。由于缺乏对雷达特征进行语义信息增强的技术，雷达噪声可能会干扰检测结果。因此，如何有效地整合稀疏雷达特征图成为提升检测效果的关键策略。此外，在构建和使用检测网络时，需要权衡计算效率和预测准确性。目前的研究大多直接将雷达特征图输入视觉检测网络，而缺乏针对整合雷达特征的检测网络的研究。
技术实现思路
1、本专利技术的目的在于提供一种基于激光雷达和双目视觉自适应融合方法，以解决现有技术的建模精度低，纹理细节信息缺失、抗干扰能力弱的问题。
2、为了达到上述的研究目标，本专利技术的详细技术方案如下所示：
3、一种基于激光雷达和双目视觉自适应融合方法，具体包括如下步骤：
4、s01，使用激光雷达对巷道内进行三维扫描，获取一圈激光雷达的空间距离的点云数据，对其滤波处理得到当前圈激光雷达滤波处理后的点云数据；
5、s02，重复执行s01，获得多圈激光雷达滤波处理后的点云数据，将它们叠加在同一坐标系下，拟合出初步的三维立体面；
6、计算初步的三维立体面中各点与初步的三维立体面的垂直距离，将三维立体面中垂直距离大于设定阀值的点去除，获得增强点云数据组；
7、s03，重复执行s01-s02，得到多组增强点云数据组，作为巷道的三维点云数据集；双目视觉相机同步拍摄双目视觉图像；
8、s04，对s03得到的三维点云数据和双目视觉相机拍摄的双目视觉图像进行标定，基于单位空间坐标进行转换，将三维点云数据投影到视觉图像的图像像素平面上；
9、s05，对s04得到的图像像素平面在水平、竖直方向进行平面扩张，然后在高度方向上进行投影，得到图像像素扩张图；
10、s06，在s05得到的图像像素扩张图中提取距离、相对速度、反光率、相对加速度这四个通道的点云特征信息，获得雷达点云特征标定图；
11、s07，视觉双目相机在同一个位置连续拍摄，获取巷道空间的双目视觉图像集；
12、s08，对s07获取的双目视觉图像集中的图像进行滤波，得到滤波后的图像集；
13、s09，对s08得到的滤波后的图像集中的图像进行去尘降噪，得到降噪后的图像集；
14、s10，对s08得到的降噪后的图像集中的图像进行图像增强，得到增强图像集；
15、s11，建立视觉图像的特征提取网络，采用该特征提取网络对s10得到的增强图像集中的图像进行图像特征提取，获得视觉图像的图像特征图；
16、s12，根据计算s06得到的激光雷达点云特征标定图和s11得到的视觉图像的图像特征图，计算激光雷达点云特征和视觉图像的图像特征图相交的区域面积以及两者融合后的区域面积，然后计算每个特征的特征匹配度；
17、s13，根据s12得到的激光雷达点云特征和视觉图像的图像特征图相交的区域面积、融合后的区域面积以及每个特征的特征匹配度，计算每个特征的权值；
18、s14，在s06得到的激光雷达点云特征标定图和s11得到的视觉图像的图像特征图中，选择数量为2/3的点云数据特征和图像特征作为一个组合，计算所有组合中所有特征的权值的平均值，选出平均值最大的组合，即获得最优匹配点云特征数据和图像特征图；
19、s15，对s14得到的最优匹配点云特征数据和图像特征图进行采用自适应融合算法进行自适应融合，实现雷达点云坐标和视觉坐标系的对齐，得到坐标对齐后的点云特征数据和图像特征图，即获得雷达视觉初步融合图；然后再将s03获取的三维点云数据集和s10获得的视觉增强图像集融合到雷达视觉初步融合图，获得雷达视觉最终融合图。
20、进一步的，还包括s16：对s15得到的自适应融合后的雷达视觉最终融合图进行回归，得到融合后的三维模型数据。
21、进一步的，还包括：通过box盒子重现融合三维结构。
22、进一步的，s01中，将激光雷达和双目相机均固定在子巷道顶板上，双目相机位于雷达上方，且雷达对称中心线和双目视觉相机对称中心线不在同一中心截面上。
23、进一步的，s04具体包括如下子步骤：
24、s041，将三维点云的坐标转换到以双目视觉相机为中心的世界坐标中；
25、s042，将s041得到的点云数据在世界坐标系的坐标经过坐标系转换变为双目视觉相机下的视觉坐标，然后将双目视觉相机下的视觉坐标转换为二维图像坐标，最后将二维图像坐标转换到图像像素的像素坐标系中，得到点云数据的图像像素平面，实现点云数据投影到视觉图像的图像像素平面上。
26、进一步的，s05具体包括如下子步骤：
27、s051，在水平、竖直方向上缩放，具体是：
28、首先以s04得到的图像像素平面作为处理对象，将雷达的距离参数、相对速度参数、反射率参本文档来自技高网...
【技术保护点】
1.一种基于激光雷达和双目视觉自适应融合方法，其特征在于，具体包括如下步骤：
2.如权利要求1所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，还包括S16：对S15得到的自适应融合后的雷达视觉最终融合图进行回归，得到融合后的三维模型数据。
3.如权利要求2所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，还包括：通过BOX盒子重现融合三维结构。
4.如权利要求1所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，S01中，将激光雷达和双目相机均固定在子巷道顶板上，双目相机位于雷达上方，且雷达对称中心线和双目视觉相机对称中心线不在同一中心截面上。
5.如权利要求1所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，S04具体包括如下子步骤：
6.如权利要求1所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，S05具体包括如下子步骤：
7.如权利要求1所述的基于激光雷达和双目视觉自适应融合方法，其特征在于，S09中，除尘降噪处理采用基于图像除尘算法以及图像去湿气、雾气算法。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。