基于双目视觉的掘进机的工作面识别及控制方法及装置制造方法及图纸

本发明专利技术公开了一种基于双目视觉的掘进机的工作面识别及控制方法和装置，通过双目视觉技术确定截割面区域和堆料区域分别对应的状态信息，再根据截割面区域和堆料区域分别对应的状态信息，确定掘进机待执行的目标任务、以及目标任务对应的目标位置，再将掘进机在双目视觉追踪下，从初始位置引导至与截割面区域或堆料区域对应的目标位置，进而实现双目视觉技术对位于巷道内的与截割面区域或堆料区域对应的目标任务的识别和定位，再通过引导掘进机移动至目标位置，使掘进机执行目标任务，并在执行完目标任务后，使掘进机环境地图信息控制掘进机从目标位置沿移动轨迹移动至初始位置。掘进机从目标位置沿移动轨迹移动至初始位置。掘进机从目标位置沿移动轨迹移动至初始位置。

【技术实现步骤摘要】
基于双目视觉的掘进机的工作面识别及控制方法及装置


[0001]本专利技术涉及掘进机
，尤其涉及一种基于双目视觉的掘进机的工作面识别及控制方法及装置。

技术介绍

[0002]目前，智能掘进机的工作面会存在截割平面不平整、轮廓成型不佳、两侧堆料严重等问题，影响掘进机的自动截割工艺，此时，需要掘进机移动至目标区域进行处理。例如：在智能掘进机自动截割期间，会存在部分落料无法被掘进机底部扫料装置清理干净的情况。而随着截割工作持续进行，工作面两侧会积累一定的堆料区域，会阻碍截割头运动与掘进机前进，此时就需要人工介入，手动收料，这样就会降低掘进机的自动化率与工作效率。

技术实现思路

[0003]本专利技术提供一种基于双目视觉的掘进机的工作面识别及控制方法及装置，可实现双目视觉技术对位于巷道内的截割面区域和堆料区域的识别和定位，再通过引导掘进机移动至截割面区域和/或堆料区域，完成掘进机对截割面区域进行截割和/或堆料区域进行收料。
[0004]第一方面，提供了一种基于双目视觉的掘进机的工作面识别及控制方法，包括：
[0005]根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；
[0006]根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；
[0007]根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；
[0008]若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；
[0009]若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。
[0010]进一步的，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：
[0011]根据所述巷道内的双目视觉图像，获取工作面的点云信息；
[0012]根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；
[0013]根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；
[0014]根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；
[0015]所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，包括：
[0016]根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度
信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；
[0017]根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。
[0018]进一步的，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，包括：
[0019]根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；
[0020]对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；
[0021]所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：
[0022]根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；
[0023]将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；
[0024]将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；
[0025]基于采集到的所述深度图上的图标签数据，训练语义分割模型；
[0026]基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。
[0027]进一步的，所述根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：
[0028]将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；
[0029]根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；
[0030]所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：
[0031]将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；
[0032]根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。
[0033]进一步的，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，包括：
[0034]通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；
[0035]根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。
[0036]进一步的，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹，包括：
[0037]获取所述掘进机的本体区域和初始转角；其中，所述本体区域为所述掘进机的机身覆盖区域；
[0038]根据所述掘进机的本体区域，设定随所述掘进机移动的虚拟区域；
[0039]根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到侧壁时，引导所述掘进机旋转移动，直至所述掘进机移动至所述目标位置；
[0040]根据引导所述掘进机沿所述初始转角方向直行的直行轨迹、以及所述掘进机旋转移动的旋转轨迹，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的移动轨迹；
[0041]根据所述双目视觉获得的所述掘进机在移动过程中的双目视觉图像，实时绘制所述掘进机从初始位置移动至所述目标位置过程中的环境地图信息。
[0042]进一步的，所述引导所述掘进机沿所述初始转角方向直行，并在所述虚拟区域接触到所述侧壁时，根据所述双目视觉对所述虚拟区域的移动追踪，引导所述掘进机旋转移动，直至所述掘进机移动至所述堆料区域所在目标位置，包括：
[0043]预设所述掘进机从所述初始位置移动至所述目标位置的移动轨迹的轨迹拐点数量；
[0044]若所述虚拟区域接触到所述侧壁，则根据所述初始转角和轨迹拐点数量，确定引导所述掘进机一次旋转移动的旋转角度。
[0045]第二方面，提供了一种基于双目视觉的掘进机的工作面识别及控制装置，包括：
[0046]状态信息获得模块，用于根据巷道内的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的掘进机的工作面识别及控制方法，其特征在于，包括：根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。2.根据权利要求1所述的控制方法，其特征在于，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：根据所述巷道内的双目视觉图像，获取工作面的点云信息；根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，包括：根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。3.根据权利要求2所述的控制方法，其特征在于，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，包括：根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；基于采集到的所述深度图上的图标签数据，训练语义分割模型；基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。4.根据权利要求3所述的控制方法，其特征在于，所述根据所述截割面区域的点云数
据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；根据所...

【专利技术属性】
技术研发人员：黄明阳，刘洋，刘懿锋，
申请(专利权)人：三一重型装备有限公司，
类型：发明
国别省市：