一种基于主动视觉的巷道掘进机定位装置及方法制造方法及图纸

本发明专利技术公开了一种基于主动视觉的巷道掘进机定位装置及方法，包括：巷道掘进机、主动视觉模块、人工特征对象、全站仪和定位控制系统，主动视觉模块安装在巷道掘进机上，人工特征对象设置在主动视觉模块和全站仪之间，定位控制系统用于控制主动视觉模块在不同的位置和视角获取人工特征对象图像，并根据图像直接估计主动视觉模块中工业相机相对于人工特征对象的位姿参数，结合人工特征对象在巷道中的位姿状态以及工业相机相对于巷道掘进机的位姿状态，通过齐次坐标变换得到掘进机在巷道中的绝对六自由度位姿；全站仪用于对人工特征对象移站后重新定位，实现掘进机自主连续定位。本发明专利技术具有高鲁棒性、高精度、实时性好、成本低、系统构建简单等优点。统构建简单等优点。统构建简单等优点。

【技术实现步骤摘要】
一种基于主动视觉的巷道掘进机定位装置及方法


[0001]本专利技术涉及巷道掘进机定位技术，特别是涉及一种基于主动视觉的巷道掘进机定位装置及方法。

技术介绍

[0002]煤炭在我国能源消费结构中长期占据着主体地位，是国民经济的重要支撑。在我国煤炭总产量中，90％来自地下井工开采，其需要大量巷道掘进，目前我国煤矿巷道年掘进量超过12000千米。巷道掘进属于高危行业，事故频发，实现无人化或少人化的煤矿巷道综掘工作面是煤炭开采行业发展的必然趋势。巷道掘进机的自主定位是实现智能掘进的首要条件，也是限制掘进机智能化水平的关键问题。巷道掘进机工作于地下狭长封闭空间中，不仅没有GPS信号，而且在掘巷道环境复杂，主要表现在弱纹理非结构化、电磁环境复杂、光照条件多变、粉尘水汽浓度高、机电设备较多、调度复杂等方面；另外，掘进机静止作业时间长且伴随剧烈振动。因此，对掘进机在巷道中进行实时准确定位难度大。目前，主要有基于全站仪、基于WSN或UWB等无线电收发技术、基于惯性导航、基于激光雷达SLAM、基于机器视觉以及多传感器组合的定位方法，但是由于地下煤矿巷道的极端环境与巷道掘进的复杂工况，上述的机体位姿检测方法在煤矿综掘工作面的实际应用中都存在一定的问题或难度。因此，亟需研究适用于巷道掘进机的定位方法与策略。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种新型的基于主动视觉的巷道掘进机定位装置。
[0004]本专利技术的另一个目的是提供一种鲁棒精确、低成本、高实时性的基于主动视觉的巷道掘进机定位方法，有效解决巷道掘进机自主定位问题。
[0005]技术方案：本专利技术的一种基于主动视觉的巷道掘进机定位装置，包括：巷道掘进机、主动视觉模块、人工特征对象、全站仪和定位控制系统；其中：
[0006]主动视觉模块安装在巷道掘进机上，包括一个直线电机、第一回转电机、第二回转电机以及工业相机，直线电机用于实现工业相机的横向移动，第一回转电机和第二回转电机分别用于实现工业相机的回转和俯仰运动；
[0007]人工特征对象设置在主动视觉模块和全站仪之间，距离主动视觉模块预设距离，包括安装板、全站仪棱镜和红外激光阵列，安装板安装在巷道顶板上，其朝向主动视觉模块的一面和朝向全站仪的一面分别安装有红外激光阵列和全站仪棱镜，红外激光阵列为工业相机提供丰富的结构化特征，以实现掘进机视觉定位，全站仪棱镜配合全站仪使用；
[0008]全站仪布置在巷道后方，用于提供巷道绝对坐标系，通过全站仪棱镜的配合测量人工特征对象在巷道中的位姿状态，并用于人工特征对象向前移站后重新定位，以实现巷道掘进机长距离连续定位；
[0009]定位控制系统包括：相机控制系统和巷道掘进机位姿估计系统，相机控制系统基
于强化学习方法，建立相机动作决策强化学习模型，通过驱动直线电机和第一、第二回转电机控制工业相机在不同的位置和视角获取人工特征对象的图像；根据三个电机的运行轨迹确定工业相机相对于巷道掘进机的位姿状态；巷道掘进机位姿估计系统基于深度学习方法，构建相机位姿回归深度学习模型，根据工业相机获取的图像直接估计工业相机相对于人工特征对象的位姿参数，结合人工特征对象在巷道中的位姿状态以及工业相机相对于巷道掘进机的位姿状态，通过齐次坐标变换得到掘进机在巷道中的绝对六自由度位姿。
[0010]优选的，三个电机通过各自配置编码器获取工业相机的横向位移、回转角和俯仰角，进而确定工业相机相对于巷道掘进机的位姿状态。
[0011]优选的，工业相机选用较小视场角与较大光圈的自动对焦工业相机。
[0012]优选的，随着巷道掘进机的向前掘进，人工特征对象与主动视觉模块之间的相对距离保持在预设范围内。
[0013]本专利技术另一实施例中，一种基于主动视觉的巷道掘进机定位方法，包括以下步骤：
[0014]S1、深度学习模型训练阶段，在地上实验室中模拟地下巷道环境，在一台移动机体上配置主动视觉模块，在机体后方配置人工特征对象，在线获取主动视觉模块相对于人工特征对象的位姿参数，以获取丰富的相机图像
‑
相机位姿数据对，用于相机动作决策强化学习模型和相机位姿回归深度学习模型的训练；
[0015]S2、在待掘巷道完成主动视觉模块、人工特征对象和全站仪的初始布置，并测量人工特征对象在巷道中的位姿参数；
[0016]S3、巷道掘进机开始掘进工作，使用训练好的相机动作决策强化学习模型实时控制主动视觉模块，使工业相机在较好的位置和视角获取人工特征对象的图像，并基于电机编码器的数值实时计算工业相机在巷道掘进机上的位姿参数，使用训练好的相机位姿回归深度学习模型估计工业相机相对于人工特征对象的位姿参数，进而实现巷道掘进机在巷道绝对坐标系中位姿估计；
[0017]S4、随着掘进机向前掘进，工业相机拍摄的图像中的人工特征对象将变得越来越小，特征也将变得越来越不明显，即人工特征对象超出工业相机视觉定位的有效范围后，位姿估计精度受到影响，需要将人工特征对象向前移站，并重新测量人工特征对象在巷道中的位姿参数；
[0018]S5、循环步骤S3
‑
S4，实现巷道掘进机长距离作业中的机体位姿在线估计，为智能掘进提供条件。
[0019]进一步的，在实验环境中进行模型训练时，首先离线训练相机位姿回归深度学习模型，实现工业相机相对于人工特征对象位姿参数的估计；然后在线训练相机动作决策强化学习模型，实现相机以较好的视角观测人工特征对象；最后，对两个模型进行联合训练微调，提高模型性能。
[0020]进一步的，该方法还适用于凿岩台车、连续式采煤机。
[0021]本专利技术再一实施例中，一种基于主动视觉的巷道掘进机定位系统，包括：
[0022]数据采集模块，用于采集人工特征对象的图像以及三个电机编码器数据，测量人工特征对象在巷道中的位姿状态；
[0023]相机动作决策模块，用于控制工业相机在不同的位置和视角获取人工特征对象的图像，根据编码器数据确定工业相机相对于巷道掘进机的位姿状态；
[0024]巷道掘进机位姿估计模块，用于根据工业相机获取的人工特征对象的图像直接估计工业相机相对于人工特征对象的位姿参数，结合人工特征对象在巷道中的位姿状态以及工业相机相对于巷道掘进机的位姿状态，通过齐次坐标变换得到掘进机在巷道中的绝对六自由度位姿。
[0025]本专利技术的又一实施例中，一种电子设备，包括存储器和处理器，其中：
[0026]存储器，用于存储能够在处理器上运行的计算机程序；
[0027]处理器，用于在运行所述计算机程序时，执行如上述一种基于主动视觉的巷道掘进机定位方法的步骤。
[0028]本专利技术的又一实施例中，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述一种基于主动视觉的巷道掘进机定位方法的步骤。
[0029]有益效果：与现有技术相比，本专利技术的显著技术效果为：具有部署方便、成本低、鲁棒精确、实时性好等优势。通过主动视觉模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动视觉的巷道掘进机定位装置，其特征在于，包括：巷道掘进机、主动视觉模块(1)、人工特征对象(2)、全站仪(3)和定位控制系统；其中：主动视觉模块(1)安装在巷道掘进机上，包括一个直线电机(1
‑
1)、第一回转电机(1
‑
2)、第二回转电机(1
‑
3)以及工业相机(1
‑
4)，直线电机(1
‑
1)用于实现工业相机(1
‑
4)的横向移动，第一回转电机(1
‑
2)和第二回转电机(1
‑
3)分别用于实现工业相机(1
‑
4)的回转和俯仰运动；人工特征对象(2)设置在主动视觉模块(1)和全站仪(3)之间，距离主动视觉模块(1)预设距离，包括安装板(2
‑
2)、全站仪棱镜(2
‑
3)和红外激光阵列(2
‑
4)，安装板(2
‑
2)安装在巷道顶板上，其朝向主动视觉模块(1)的一面和朝向全站仪(3)的一面分别安装有红外激光阵列(2
‑
4)和全站仪棱镜(2
‑
3)，红外激光阵列为工业相机提供丰富的结构化特征，以实现掘进机视觉定位，全站仪棱镜配合全站仪使用；全站仪(3)布置在巷道后方，用于提供巷道绝对坐标系，通过全站仪棱镜的配合测量人工特征对象在巷道中的位姿状态，并用于人工特征对象向前移站后重新定位，以实现巷道掘进机长距离连续定位；定位控制系统包括：相机控制系统和巷道掘进机位姿估计系统，相机控制系统基于强化学习方法，建立相机动作决策强化学习模型，通过驱动直线电机和第一、第二回转电机控制工业相机在不同的位置和视角获取人工特征对象的图像；根据三个电机的运行轨迹确定工业相机相对于巷道掘进机的位姿状态；巷道掘进机位姿估计系统基于深度学习方法，构建相机位姿回归深度学习模型，根据工业相机获取的图像直接估计工业相机相对于人工特征对象的位姿参数，结合人工特征对象在巷道中的位姿状态以及工业相机相对于巷道掘进机的位姿状态，通过齐次坐标变换得到掘进机在巷道中的绝对六自由度位姿。2.根据权利要求1所述的一种基于主动视觉的巷道掘进机定位装置，其特征在于，三个电机通过各自配置编码器获取工业相机的横向位移、回转角和俯仰角，进而确定工业相机相对于巷道掘进机的位姿状态。3.根据权利要求1所述的一种基于主动视觉的巷道掘进机定位装置，其特征在于，工业相机选用自动对焦工业相机，其视场角和光圈在设定范围内。4.根据权利要求1所述的一种基于主动视觉的巷道掘进机定位装置，其特征在于，随着巷道掘进机的向前掘进，人工特征对象与主动视觉模块之间的相对距离保持在预设范围内。5.一种基于主动视觉的巷道掘进机定位方法，其特征在于，包括以下步骤：S1、深度学习模型训练阶段，在地上实...

【专利技术属性】
技术研发人员：吴洪状，程诚，陈涛，杨聪，
申请(专利权)人：苏州大学，
类型：发明
国别省市：