煤矿井下多机器人虚实融合协同感知、决策与控制方法技术

本发明专利技术公开了一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，该方法包括虚拟感知决策控制循环，物理感知决策控制循环两个总体循环过程与虚实协同感知循环，虚实协同控制循环，虚实协同决策循环三个分布循环过程。将虚拟环境和实际环境相结合，利用多台机器人的传感器获取煤矿井下实时环境信息，与三维模型与虚拟环境进行融合，实现多机器人的协同感知和路径规划。通过多机器人协同控制以及点云融合提高构图效率以及构图准确度，使用虚拟现实技术实时生成高度可视化的数字孪生场景，并通过VR设备根据实时虚拟场景和视频反馈与机器人进行远程交互。与机器人进行远程交互。与机器人进行远程交互。

【技术实现步骤摘要】
煤矿井下多机器人虚实融合协同感知、决策与控制方法


[0001]本专利技术涉及智能控制
，具体而言，涉及一种基于数字孪生的煤矿井下多机器人协同感知、决策与远程控制方法。

技术介绍

[0002]随着对井下开采的智能化和无人化的要求越来越高，集成了各种功能，形状各异的机器人逐渐应用于井下各类场景。根据煤矿井下机器人的功能，可以将其分为掘进机器人、巡检机器人、救援机器人、运输机器人和清扫机器人。这些机器人能够自主地在煤矿井下进行移动、定位和作业，如采煤、掘进、巡视、检测、救援、运输、清扫和除尘等。
[0003]根据煤矿井下机器人的行走方式，可以将其分为履带式机器人、轮式机器人、腿式机器人和滑板式机器人。其中，履带式机器人采用履带作为行走方式，具有较强的通过能力和稳定性，能够在煤矿井下复杂地形中自由行驶；轮式机器人采用轮子作为行走方式，具有速度快、机动性好等特点，适用于较平坦的地形；腿式机器人采用仿生学原理设计，模拟人类的行走方式，具有较强的适应性和灵活性，能够在煤矿井下复杂地形中自由行驶；滑板式机器人采用滑板作为行走方式，具有速度快、体积小等优点，适用于较平坦的地形。根据具体的煤矿井下环境和作业需求，可以选择不同类型的机器人来完成相应的任务。
[0004]煤矿环境具有复杂、封闭、易变的特点，机器人在煤矿环境中应用需要具有准确、快速的感知能力，能够实时获取煤矿井下的环境信息和状态数据。需要具备智能化、自主化的决策能力，能够根据感知到的环境信息和任务需求，自主制定合理的行动计划。需要具备高度的可靠性和自适应性，能够调整控制策略，适应煤矿井下的复杂环境和变化情况。
[0005]公开号CN113485325A介绍了一种基于SLAM建图和自主导航的煤矿井下水泵房巡检机器人方法。该方法利用Kinect机器视觉的地形感知系统识别障碍物，采用运动规划模型规划最短路径，并使用迭代最小二乘方法对里程计进行标定和图优化的方式建立全局一致性的地图，实现无人控制、无轨道、线缆和GPS辅助的情况下对水泵房设备进行巡检。
[0006]公开号CN114398455A公开了一种应用于云端服务器的异构多机器人协同SLAM地图融合方法。该方法通过接收第一无人机和第二无人机在不同时刻对不同区域构建的地图，确定重叠区域并确定相对运动关系，然后将两个地图融合成包含全局地图的一个地图。该全局地图下发至各无人车，并根据无人车获取的更新数据进行更新。
[0007]公开号CN112394701A公开了一种基于云边端混合计算环境的多机器人云控系统。该系统包括执行模块、通信模块、知识库模块、智能算法模块和总控模块。执行模块负责机器人和传感设备的感知数据采集、加工及控制指令执行。通信模块在云边端环境中转发和处理实时、动态数据。场景通用知识库模块用于存储场景中所涉及的通用知识，并提供统一的调用接口。智能算法模块提供场景中所需的智能感知及自主决策算法。总控模块编排和调度机器人协同完成指定任务。
[0008]公开号CN111596691B公开了一种基于人在回路的多机器人系统的决策建模与协同控制方法及系统。该方法包括获取机器人执行任务后的输出信息值，选择机器人位置偏
差信息作为人的决策信息。使用人的漂移扩散模型作为建模方法，根据人的决策信息对人的决策行为进行建模。同时，设计人为决策任务，帮助机器人顺利完成任务。
[0009]煤矿环境具有复杂、封闭、易变的特点，传统的机器人导航和定位方法在煤矿环境中难以实现高精度、实时性的要求。此外，现有技术中缺乏对煤矿环境下多机器人协同工作的有效支持。因此，开发一种煤矿双机器人协同SLAM构图与数字孪生系统及其控制方法，在井下发生危险时，面对复杂的未知环境，更加精准构建出实时可视化地图，对进行井下受困人员以及损坏设备快速精准定位，保障人员安全以及综采设备安全运行，实现井下机器人可视化的远程调度，提高煤矿智能化具有重要意义。
[0010]以上研究的井下机器人感知以及多机器人协同决策控制存在以下缺陷：1）目前所存在的针对井下slam构图方法，大多是基于单巡检机器人设备，通过单一传感设备，获取机器人运动信息，确定机器人在井下位置，进行slam构图。基于单一信息来源的slam，构图效率较低，地图精准度不足。
[0011]2）井下环境较于地面环境更加复杂，可视化程度较低，特征信息提取较于地面环境更加困难，基于机器视觉的slam技术难以直接应用于煤矿井下slam。
[0012]3）目前所涉及的基于激光雷达的多机器人slam地图融合技术，根据多个机器人分别构建出slam地图，再对局部地图进行融合，构建整体地图。并未涉及协同控制以及协同构图，基本构图方式仍然与单机器人构图相似。而此类slam构图方式用于井下环境，难以进行准确的定位，导致构图效果不佳，难以构建精准的井下地图。各机器人构图过程相对分散，难以实时进行地图融合，无法实时生成当前以及探测的全局地图。
[0013]4）缺乏可视化的调度中心，难以将井下真实情况及时反馈给操作人员。煤矿环境复杂，所以需要高度可视化的实时地图，通过远程显示设备实时把握井下机器人工作情况。
[0014]5）目前煤矿井下机器人作业过程中缺乏人与机器人远程交互手段。在井下工作时，仅依靠机器人的自主避障与循迹难以保证安全性。部分工作场景人员无法到达，保障井下人员与设备运行安全，需要工作人员监测机器人的运行过程，并对机器人进行远程控制。

技术实现思路

[0015]本专利技术的目的是提供一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，通过多机器人协同控制以及点云融合提高构图效率以及构图准确度，使用虚拟现实技术实时生成高度可视化的数字孪生场景，并通过VR设备根据实时虚拟场景和视频反馈与机器人进行远程交互。
[0016]为实现上述目的，本专利技术提供的一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，包括虚实协同感知循环、虚实协同决策循环和虚实协同控制循环；所述虚实协同的感知循环包括机器人物理感知系统和机器人虚拟感知系统；机器人物理感知系统在物理层面下获取井下的环境信息，以及各物理协同机器人在井下环境的位置信息和运动参数信息，生成物理点云信息；机器人虚拟感知系统在虚拟层面对物理环境信息进行信息增强，并获取虚拟点云信息，进行虚拟点云信息与物理点云信息的虚实点云融合；所述虚实协同决策循环包括机器人物理决策系统以及机器人虚拟决策系统；机器人物理决策系统中，物理协同机器人根据路径规划算法生成待选择路径，通过云边端协同
的模式，增强机器人面对紧急情况的自主决策能力以及协同决策能力；机器人物理决策系统中的决策结果以及信息实时传输到机器人虚拟决策系统中，机器人虚拟决策系统在虚拟场景中进行虚拟规划并预演结果，获取最优决策对机器人物理决策系统的决策结果进行决策修正，修正之后的结果反馈到机器人物理决策系统中，实现虚实综合决策；所述虚实协同控制循环包括机器人物理控制系统以及机器人虚拟控制系统；机器人物理控制系统通过对物理协同机器人进行协同控制以及编队，根据路径规划结果进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，其特征在于：包括虚实协同感知循环、虚实协同决策循环和虚实协同控制循环；所述虚实协同的感知循环包括机器人物理感知系统和机器人虚拟感知系统；机器人物理感知系统在物理层面下获取井下的环境信息，以及各物理协同机器人在井下环境的位置信息和运动参数信息，生成物理点云信息；机器人虚拟感知系统在虚拟层面对物理环境信息进行信息增强，并获取虚拟点云信息，进行虚拟点云信息与物理点云信息的虚实点云融合；所述虚实协同决策循环包括机器人物理决策系统以及机器人虚拟决策系统；机器人物理决策系统中，物理协同机器人根据路径规划算法生成待选择路径，通过云边端协同的模式，增强机器人面对紧急情况的自主决策能力以及协同决策能力；机器人物理决策系统中的决策结果以及信息实时传输到机器人虚拟决策系统中，机器人虚拟决策系统在虚拟场景中进行虚拟规划并预演结果，获取最优决策对机器人物理决策系统的决策结果进行决策修正，修正之后的结果反馈到机器人物理决策系统中，实现虚实综合决策；所述虚实协同控制循环包括机器人物理控制系统以及机器人虚拟控制系统；机器人物理控制系统通过对物理协同机器人进行协同控制以及编队，根据路径规划结果进行自主导航与循迹，通过数字孪生虚景场景在Unity 3D中进行实时映射；通过多模块可视化交互界面增强虚拟操作人员的态势感知以及减少时延问题的影响，在虚拟场景中远程操作人员控制数字孪生机器人实现对物理协同机器人的远程干预。2.根据权利要求1所述的方法，其特征在于：在虚实协同的感知循环中，所述机器人物理感知系统包括物理协同机器人和集成在物理协同机器人上各类传感器设备；所述传感器设备包括机载三维激光雷达、UWB定位系统、机载相机和机载红外感知设备；物理协同机器人基于三维激光雷达进行激光slam，并通过不同的地图融合算法进行实时地图融合；结合UWB定位系统与多机器人协同定位实现多模式融合定位，机载相机对井下障碍物进行标定以及特征识别，并获取参数信息；红外传感设备对进下人员进行识别与感知。3.根据权利要求2所述的方法，其特征在于：所述多模式融合定位是结合slam实时定位、UWB定位技术与多机器人协同定位实现多种定位模式融合定位，通过激光雷达slam对各个机器人进行定位，激光雷达获取环境信息，并对扫描信息进行特征提取，获得特征点；将机器人当前位置与激光雷达扫描数据中的特征点信息进行匹配；结合里程计信息，初步确定机器人位置及姿态信息；通过UWB定位技术，对各机器人进行辅助定位，从而获取一个更加准确的位置信息；每台机器人估计出自己的位置以及姿态信息后，将估计出的位置信息发送给其他机器人，与其他机器人进行位置信息融合，实现整个环境的全局定位。4.根据权利要求1或3所述的方法，其特征在于：在虚实协同的感知循环中，所述机器人虚拟感知系统包含数字孪生虚拟场景、虚拟雷达系统、参数化模型库模块、先验信息融合模块。根据物理感知系统及信息，在Unity 3D中构建井下数字孪生虚拟场景，通过特征信息在参数化模型库中匹配参数化模型，并融合先验信息对数字孪生虚拟场...

【专利技术属性】
技术研发人员：王学文，王禧龙，谢嘉成，刘曙光，沈卫东，肖智杰，秦浪，刘京铨，房舒凯，宋宇科，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：