【技术实现步骤摘要】
本专利技术属于增强现实、机器人在线控制，涉及一种基于增强现实技术的机器人在线控制系统及方法。
技术介绍
1、增强现实技术是综合利用立体显示、智能交互、场景定位、实时注册追踪等技术，将虚拟世界与现实世界融合在一起，为用户提供虚实融合的可视化交互环境，使用户可以同时虚拟世界和现实世界进行感知和交互。工业机器人是广泛应用与工业领域的多关节机械臂或者多自由度的机器装置，通常由机械部分、传感部分和控制部分组成，具有简单易用、可编程、安全性高、易于管理等优点。目前工业机器人在制造、装配、检测、物流等领域取得了十足的发展，并产生了显著的经济效益。
2、现阶段，工业机器人的控制通常是采用离线编程、机器人示教的的方式预先定义机器人的运动轨迹，然后使机器人按照一定规则执行重复运动。对于一些依赖人机协同操作的场景，需要操作人员对机器人进行控制，传统的机器人在线控制通常由操作人员直接操作机器人控制器实现，缺乏灵活性且操作难度较高。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提出一种基于增强现实技术的机器人在线控制系统及方法，实现一种交互自然、灵活的机器人在线控制新模式，并通过碰撞检测技术在机器人控制过程中进行实时预警，有利于能将机器人快速、灵活的运动到目标姿态位置，提升机器人在线控制的效率和安全性。
2、本专利技术解决技术的方案是：一种基于增强现实技术的机器人在线控制系统，包括增强现实交互端、机器人系统、数据服务端；
3、增强现实交互端，用于呈现
4、可视化模块：以虚实融合的方式呈现数字孪生机器人，通过虚实姿态映射的方式实时展现实体机器人的姿态；
5、虚实融合注册模块：用于将数字孪生机器人与现实场景融合在一起，通过机器人视觉与slam技术构建现实场景的网格模型，通过平面检测算法将数字孪生机器人放置到现实场景的固定平面位置；
6、手势控制模块：实时获取操作者的手势和位姿，根据识别出的关键操作手势执行相应的操作指令；
7、第一网络通信模块：通过无线网络与数据服务端建立数据通讯，用于与实体机器人进行数据交换，根据接收到的实体机器人姿态数据更新数字孪生机器人模型的姿态，同时能够将用户的操控指令发送到实体机器人中，实现对实体机器人设备的反向控制；
8、逆运动学解算模块：用于实现对数字孪生机器人模型的逆运动学解算，用户通过手势控制抓取数字孪生机器人模型的某个轴并拖拽到某个位置，由该模块根据所抓取轴的位置实时解算机器人的姿态；
9、碰撞检测模块：对数字孪生机器人模型与现实场景网格模型进行实时碰撞检测，当数字孪生机器人模型与现实场景发生碰撞时，触发碰撞预警提示并提醒操作者调整机器人姿态，待操作者矫正数字孪生机器人位姿使其不再触发碰撞预警时，实体机器人才同步至数字孪生机器人的姿态；
10、机器人系统，包含实体机器人、机器人控制器、机器人上位机、第二网络通信模块；
11、实体机器人：为n轴机械臂，n为大于1的整数；
12、机器人控制器：是实体机器人的数据采集与控制单元；
13、机器人上位机：内置机器人数据采集与控制程序，获取实体机器人的姿态、状态，并向机器人控制器下发控制指令；
14、第二网络通信模块：通过无线网络与数据服务端建立数据通讯，用于与机器人控制器进行数据交换，将采集的机器人姿态数据发送到增强现实交互端，并接收增强现实交互端的用户控制指令；
15、数据服务端，用于实现增强现实交互端和机器人系统之间的数据交互，能够对接入的客户端类型进行区分，将实体机器人的姿态数据、状态数据转发到增强现实交互端，并将增强现实交互端发出的控制指令转发至机器人系统，数据服务端支持多个机器人系统和增强现实交互端的接入，并能够协调增强现实交互端对机器人系统的排他性，确保机器人系统在同一时刻只能被一个增强现实交互端控制。
16、进一步的，所述的手势控制模块，手势操作方式包括点击和抓取，其中点击手势用于与虚拟控制按键进行交互，抓取手势用于拖拽数字孪生机器人某个轴操纵数字孪生机器人运动，进而实现对实体机器人的控制。
17、进一步的，所述数据服务端包括第三网络通信模块、数据同步模块；
18、第三网络通信模块：通过无线通信网络在机器人系统与增强现实交互端之间建立网络通讯桥梁，实现机器人系统与增强现实交互端之间的数据交换，能够将实体机器人的状态数据和姿态数据发送到增强现实交互端，并将增强现实交互端发出的控制指令转发至机器人系统；
19、数据同步模块：用于实现多个增强现实交互端之间的数据同步，该模块能够将增强现实交互端的交互状态数据同步到其他客户端中，同时缓存各个客户端的最新状态数据，确保新的客户端接入时能快速同步其他客户端的状态数据。
20、一种基于增强现实技术的机器人在线控制方法，包括以下三种交互操作模式：
21、自由模式：通过手势拖拽数字孪生机器人的关节轴操作，操作者抓取数字孪生机器人某个关节轴拖拽运动，逆运动学解算模块对机器人进行逆运动学解算，并实时更新数字孪生机器人的姿态，同时以固定频率将数字孪生机器人的姿态数据发送到实体机器人，控制实体机人与虚拟机器人同步运动到目标姿态位置；
22、单轴模式：通过手势点击虚拟控制按键操作，控制实体机器人某个轴执行正向或反向旋转，当按键按下时碰撞检测模块计算数字孪生机器人与周围环境的最小距离，若最小距离大于所设定的碰撞预警阈值，则向实体机器人发送运动指令控制实体机器人运动，在实体机器人运动过程中实时获取实体机器人的姿态数据，同步更新数字孪生机器人的位姿，若最小距离小于或等于碰撞预警阈值，则控制实体机器人停止，并发出碰撞预警提示；
23、平移模式：通过手势点击虚拟控制按键操作，控制机器人末端在空间中执行上、下、左、右、前、后运动操作，当按键按下时碰撞检测模块计算数字孪生模型与周围环境的最小距离，若最小距离大于所设定的碰撞预警阈值，则向实体机器人发送运动指令控制实体机器人运动，在实体机器人运动过程中实时获取实体机器人的姿态数据，同步更新数字孪生机器人的位姿，若最小距离小于或等于碰撞预警阈值，则控制实体机器人停止，并发出碰撞预警提示。
24、进一步的，所述自由模式通过手势拖拽数字孪生机器人的关节轴操作，包括单手操作和双手操作两种控制方式。
25、进一步的，所述单手操作控制方式，用户通过单手抓取数字孪生机器人的某个关节轴执行操作，具体包括以下步骤：
26、s1、通过增强现实交互端识别操作者的手势，操作者食指位置和方向发射虚拟射线；
27、s2、当射线与数字孪生机器人发生碰撞时，碰撞位置高亮显示；
28、s3、射线选中第i∈(1,n]个关节轴时，可进行抓取手势操作，拖本文档来自技高网...
【技术保护点】
1.一种基于增强现实技术的机器人在线控制系统，其特征在于，包括增强现实交互端、机器人系统、数据服务端；
2.根据权利要求1所述的一种基于增强现实技术的机器人在线控制系统，其特征在于，所述的手势控制模块，手势操作方式包括点击和抓取，其中点击手势用于与虚拟控制按键进行交互，抓取手势用于拖拽数字孪生机器人某个轴操纵数字孪生机器人运动，进而实现对实体机器人的控制。
3.根据权利要求1所述的一种基于增强现实技术的机器人在线控制系统，其特征在于，所述数据服务端包括第三网络通信模块、数据同步模块；
4.基于权利要求1～3任一项所述系统的一种基于增强现实技术的机器人在线控制方法，其特征在于，包括以下三种交互操作模式：
5.根据权利要求4所述的一种基于增强现实技术的机器人在线控制方法，其特征在于，所述自由模式通过手势拖拽数字孪生机器人的关节轴操作，包括单手操作和双手操作两种控制方式。
6.根据权利要求5所述的一种基于增强现实技术的机器人在线控制方法，其特征在于，所述单手操作控制方式，用户通过单手抓取数字孪生机器人的某个关节轴执行操作，具体
7.根据权利要求5所述的一种基于增强现实技术的机器人在线控制方法，其特征在于，所述双手操作控制方式，用户通过双手各抓取数字孪生机器人的一个关节轴进行操作，具体包含以下步骤：
8.根据权利要求6或7任一项所述的一种基于增强现实技术的机器人在线控制方法，其特征在于，所述逆运动学解算模块的解算过程如下：
9.根据权利要求8所述的一种基于增强现实技术的机器人在线控制方法，其特征在于，逆运动学解算的迭代求解过程包括下列步骤：
...【技术特征摘要】
1.一种基于增强现实技术的机器人在线控制系统，其特征在于，包括增强现实交互端、机器人系统、数据服务端；
2.根据权利要求1所述的一种基于增强现实技术的机器人在线控制系统，其特征在于，所述的手势控制模块，手势操作方式包括点击和抓取，其中点击手势用于与虚拟控制按键进行交互，抓取手势用于拖拽数字孪生机器人某个轴操纵数字孪生机器人运动，进而实现对实体机器人的控制。
3.根据权利要求1所述的一种基于增强现实技术的机器人在线控制系统，其特征在于，所述数据服务端包括第三网络通信模块、数据同步模块；
4.基于权利要求1～3任一项所述系统的一种基于增强现实技术的机器人在线控制方法，其特征在于，包括以下三种交互操作模式：
5.根据权利要求4所述的一种基于增强现实技术的机器人在线控制方法，其特征在...
【专利技术属性】
技术研发人员：魏士松，王堃，孙明珠，刘晓，周鹏飞，沈义平，洪海波，
申请(专利权)人：上海航天精密机械研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。