【技术实现步骤摘要】
本专利技术涉及机器人控制领域，具体涉及基于混合现实的多人协同排爆机器人的交互方法及系统。
技术介绍
1、排爆机器人是一类专门用于处理爆炸物、炸弹以及其他危险物品的机器人，其在执法、军事和安全领域中发挥着关键作用。这些机器人具备多种作用和功能，包括爆炸物处理、爆炸物定位、危险物品拆解、搜索、救援、侦察以及情报搜集等。排爆机器人以其高效性、精确性和多样性成为处理危险情境的重要工具，能够显著降低操作员在危险环境中的风险，提高任务执行效率，有效保障人员安全。排爆机器人利用各种传感器获取环境信息和目标位置，从而增强操作员的安全性和提高任务执行质量。此外，排爆机器人的多功能性使其可以根据特定的任务需求进行定制，适应各种复杂的环境和任务场景，这种灵活性极大地增强了操作员的工作效率。随着操作环境的复杂度增加和操作要求的精细化，排爆机器人和操作人员面临着更高的挑战，以便有效地处理各种危险物品。在这种情况下，遥控操作系统的作用就显得尤为重要。它能确保机器人精确地执行操作人员的指令，并提供实时反馈，使操作人员能够及时了解机器人的状态和周围环境。
2、遥操作系统通常由操作终端、交互设备、传感器、通信系统、控制算法与用户界面等关键部分构成，共同协作以实现远程操控机器人。首先，操作终端是操作人员用来与机器人进行交互的关键设备，交互设备提供了用户与机器人进行指令传递和状态监控，通常包括控制按钮、摇杆、触摸屏、键盘等。其次，传感器和用于采集机器人周围环境的数据和图像。它们捕捉实时信息，将其传回操作终端让操作人员分析、判断和决策。通信系统则负责在控制
3、例如公布号为cn104942811a的现有专利技术专利申请文献《排爆机器人控制系统》，该系统包括具有主控微处理器、第一图像传输模块的主控部分和具有从动微处理器、第二图像传输模块的从动部分，主控微处理器的输入端与实时动作信息采集手套、手动操纵摇杆、动作信息转换按键和图像转换按键的输出端对应连接，其输出端与无线发射模块的输入端连接；第一图像传输模块的输出端与显示屏和3d视觉系统的输入端对应连接；从动微处理器的输入端与无线接收模块的输出端连接，其输出端与机器人动臂驱动模块、机器人转向驱动模块和视频采集模块的输入端对应连接；第二图像传输模块的输入端与视频采集模块的输出端连接。由该现有方案的具体实施内容可知，该遥操作系统的交互设备由数据手套、手动操纵摇杆等构成，实现排爆机器人机械臂的移动与转向、夹爪的闭合等操作，从而完成排爆任务。然而，前述现有技术的交互装备过于冗余，操作过程复杂，需要操作人员有较高的熟练程度与紧急反应能力。
4、公布号为cn111452046a的现有专利技术专利申请文献《基于虚拟现实的排爆机器人系统、控制方法及存储介质》，该现有方法包括：步骤201、获取摄像头云台拍摄的图像信息，将所述图像信息成像于vr头显中；步骤202、获取用户的手部运动信息，根据用户的手部运动信息生成机械臂的运动姿态，并根据所述运动姿态对机械臂进行控制；步骤203、获取陀螺仪的角度信息，根据所述角度信息控制所述摄像头云台进行跟随转动；步骤204、重复上述步骤201至步骤203。从该现有方法的具体实施内容可知，该现有遥操作系统的交互设备由vr头显与leap motion组成，通过leap motion识别手部姿势，通过不同手势语义对机械臂末端进行控制，完成排爆任务。但是虚拟现实真实感不足，同时leap motion的识别范围有限，操作者须在一个较小的空间内进行手势操作。此外，作为一种光学传感器，leap motion对环境光照的敏感度较高，在强光照或光反射的背景下可能会影响性能。
5、公布号为cn116372954a的现有专利技术专利申请文献《ar沉浸式遥操作排爆机器人系统、控制方法和存储介质》，该现有系统包括：头戴式ar头盔、ar主机、云端服务器、移动排爆机器人和力反馈控制手柄等；头戴式ar头盔通过ar主机、云端服务器、机器人中央处理器、机器人运动控制板控制云台带动双目摄像头动作；双目摄像头将采集到的环境信息通过机器人中央处理器、云端服务器、ar主机传回头戴式ar头盔；力反馈控制手柄通过ar主机、云端服务器、机器人中央处理器、机器人运动控制板控制机械臂及手抓动作实现排爆功能。由该现有技术的具体实现内容可知，该现有遥操作系统的交互设备由ar头显与力反馈设备组成，通过ar显示临场图像，力反馈设备实现机械臂的操作，完成排爆任务。然而，ar头显的沉浸感可能不足，当用户佩戴头显后，视线可能会被遮挡，这可能导致在使用力反馈设备时出现误操作。
6、现有的排爆机器人遥操作系统主要基于单人操作模式。在这种模式下，操作员需要投入大量时间进行技能训练，以熟悉界面和操作方法，否则可能会出现操作错误。此外，在任务执行过程中，操作员需要持续监控设备和机器人的状态，这可能导致操作员疲劳，注意力分散，从而影响操作质量和任务效率。
7、综上，现有技术存在交互装备过于冗余、操作过程复杂导致对人工操作经验的依赖、交互控制效果较差的技术问题。
技术实现思路
1、本专利技术所要解决的技术问题在于如何解决现有技术中交互装备过于冗余、操作过程复杂导致对人工操作经验的依赖、交互控制效果较差的技术问题。
2、本专利技术是采用以下技术方案解决上述技术问题的：基于混合现实的多人协同排爆机器人的交互方法包括：
3、s1、利用预设软件运行终端设备运行预置软件；
4、s2、利用匈牙利算法处理得到排爆任务分配信息，据以获取操作人员的操作权重及当前任务情况，采集并更新操作人员能力数据，获取并根据当前任务复杂程度信息，选择排爆机器人交互控制模式，其中，排爆机器人交互控制模式包括：专家监督模式、多人协同的信息融合操作模式以及多人配合操作多机器人的模式；
5、s3、根据真实场景，利用排爆机器人搭载的相机对周围环境进行slam重建，以得到并基于重建模型生成虚拟环境；
6、s4、根据当前任务状态，对操作人员生成不同的权重，根据匈牙利算法，生成排爆控制指令；
7、s5、发送排爆控制指令至排爆机器人，以控制排爆机器人。
8、本专利技术设计排爆机器人交互控制方式，使操作人员能够有效地控制和协作排爆机器人。在进行排爆任务时遇到复杂操作以及意外情况时，遥操作系统能够确保机器人精确执行操作人员的指令，并提供实时的反馈，以便操作人员了解机器人的状态和环境。
9、本专利技术在遥操作系统的人机交互中，混合现实(mr)是一种新型的交互方式平台，通过多种模态感知人类的自然行为，获取人类的语音、手势、视线等多种交互通本文档来自技高网...
【技术保护点】
1.基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S2中，在所述专家监督模式下，控制所述排爆机器人的步骤包括：
3.根据权利要求1所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S2中，在所述多人协同的信息融合操作模式下，控制所述排爆机器人的步骤包括：
4.根据权利要求3所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S21’中，所述排爆任务信息包括：任务紧急程度、任务重要性信息、任务进行时段。
5.根据权利要求3所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S23’中，利用匈牙利算法分配所述排爆任务的步骤还包括：
6.根据权利要求5所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S232’中，将所述增广路径的其起始点设为未匹配的任务节点，将终止节点设为不少于2个未匹配操作人员节点。
7.根据权利要求5所述的
8.根据权利要求5所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S23’中，利用下述逻辑表达所述匈牙利算法的目标函数：
9.根据权利要求5所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤S23’中，利用下述逻辑表达所述匈牙利算法的约束条件：
10.基于混合现实的多人协同排爆机器人的交互系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤s2中，在所述专家监督模式下，控制所述排爆机器人的步骤包括：
3.根据权利要求1所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤s2中，在所述多人协同的信息融合操作模式下，控制所述排爆机器人的步骤包括：
4.根据权利要求3所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤s21’中，所述排爆任务信息包括：任务紧急程度、任务重要性信息、任务进行时段。
5.根据权利要求3所述的基于混合现实的多人协同排爆机器人的交互方法，其特征在于，所述步骤s23’中，利用匈牙利算法分配所述排爆任务的步骤还包括：
6.根据...
【专利技术属性】
技术研发人员：朱晓俊，刘厚德，梁斌，马云萱，兰斌，梁论飞，
申请(专利权)人：江淮前沿技术协同创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。