【技术实现步骤摘要】
本专利技术涉及智能机器人，特别涉及一种虚实结合的机械臂-灵巧手系统映射操作及样本采集方法。
技术介绍
1、目前，随着人工智能技术的发展，机器人操作任务类型逐渐增多，操作对象特性逐渐复杂，操作控制呈现多功能、多接触、多状态的特点，仅采用强化学习的方法难以快速探索到合理的机器人操控策略，且传统的二指夹爪机构也难以满足复杂任务的操控需求。模仿学习方法在近年来取得了广泛的应用，此类方法可以合理利用专家示范数据，可以更为高效的生成机器人智能操控技能；另一方面，五指灵巧操作的重要性也逐渐提升，可实现传统夹爪难以完成的复杂操控技能。因此，实现机器人及灵巧手操控系统的高质量示范样本采集具有重要的意义。然而，现有的方法主要面向机械臂及二指夹爪的映射，需进行机械臂-灵巧手系统映射操作及样本采集方法的研究。
技术实现思路
1、本专利技术实施例提供了一种虚实结合的机械臂-灵巧手系统映射操作及样本采集方法，能够进行机械臂-灵巧手系统映射操作及样本采集。
2、本专利技术实施例提供一种虚实结合的机械臂-灵巧手系统映射操作及样本采集方法，包括：
3、配置映射操作系统；其中，所述映射操作系统包括遥操作装置、机械臂、灵巧手和用于采集图像数据的相机；
4、基于所述遥操作装置实时采集其操作者小臂末端的末端位置及姿态信息；
5、基于所述相机实时采集操作者手部的关键点三维信息；其中，所述关键点三维信息包括手腕根部点及手指的关节点的位置信息；
6、根据所述末端位置及姿
7、根据所述关键点三维信息计算灵巧手关节映射值；
8、根据所述机械臂末端映射值和所述灵巧手关节映射值实时驱动机械臂和灵巧手运动，并记录映射操作过程中的各个关节的实时数据以及操作过程中的观测图像，完成样本采集。
9、可选地，所述根据所述末端位置及姿态信息计算机械臂末端映射值，包括：
10、定义所述遥操作装置的基准坐标系，并记录遥操作装置的参考位姿；其中，所述参考位姿可通过实时输入的指令信息进行修改；
11、根据所述末端位置及姿态信息，所述基准坐标系、变化矩阵和所述参考位姿计算所述机械臂末端的映射值。
12、可选地，所述根据所述关键点三维信息计算灵巧手关节映射值，包括：
13、根据所述关键点三维信息中的手腕根部点以及部分手指关键点建立局部坐标系，进一步结合各个手指中关键点间形成的向量，计算出各个手指的各个关节角度；
14、根据人手各个关节的实时角度利用映射优化公式计算所述灵巧手关节映射值。
15、可选地，所述映射优化公式如下：
16、
17、s.t.ql≤qt≤qu
18、其中，是人手的第i个关键点向量；是通过灵巧手正向运动学计算出的第i个关键点向量，α是权重参数，用于考虑人手和灵巧手之间的大小差异，qt和qt-1表示时间步t和t-1时灵巧手的关节位置，β是权重参数，qd表示人手各个关节角度值，γ是权重参数，ql和qu是机器人手关节位置的下限和上限。
19、可选地，在所述根据所述机械臂末端映射值和所述灵巧手关节映射值实时驱动机械臂和灵巧手运动之前，还包括：
20、对所述机械臂末端映射值和所述灵巧手关节映射值进行安全性保护计算，通过所述安全性保护计算才能驱动机械臂和灵巧手运动。
21、可选地，所述安全性保护计算包括：
22、计算灵巧手各个关节运动增量，如低于阈值则通过保护性计算；
23、计算灵巧手各个关节值是否会导致各个手指发生碰撞，基于仿真平台进行同步验证计算，如不发生碰撞则通过保护性计算；
24、计算机械臂各个关节值是否超出设定安全范围，如在安全范围内则通过保护性计算。
25、可选地，所述遥操作装置为可实现6个独立自由度的遥操作主手，所述相机为rgb相机，机械臂可实现6自由度的运动，灵巧手包含五个手指，与人手关节配置一致。
26、可选地，所采集的数据包括映射操作过程中机械臂各个关节角度及位姿、灵巧手各个关节角度、以及机械臂手腕相机图像、机械臂外部支架相机图像、机械臂腕部力传感器信息及其时间戳。
27、本专利技术与现有技术相比至少具有如下有益效果：
28、本专利技术采用虚实结合方式，解决了现有的多数实体遥操作设备及方法难以直接同时适配于机械臂-灵巧手系统的问题；
29、本专利技术对实体遥操作设备的实时反馈数据进行处理，并结合实时操控指令，实现操控基准变更、操控范围调整，解决了多数传统遥操作方法面临的映射效果与映射范围的矛盾问题；
30、本专利技术采用基于虚拟遥操作的灵巧手映射及优化方法，避免了传统灵巧手遥操作过程中穿戴设备会导致人手运动受到限制的局限性，并解决了人手与机械灵巧手的异构映射问题。
本文档来自技高网...【技术保护点】
1.一种虚实结合的机械臂-灵巧手系统映射操作及样本采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述末端位置及姿态信息计算机械臂末端映射值，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述关键点三维信息计算灵巧手关节映射值，包括：
4.根据权利要求3所述的方法，其特征在于，所述映射优化公式如下：
5.根据权利要求1所述的方法，其特征在于，在所述根据所述机械臂末端映射值和所述灵巧手关节映射值实时驱动机械臂和灵巧手运动之前，还包括：
6.根据权利要求5所述的方法，其特征在于，所述安全性保护计算包括：
7.根据权利要求1所述的方法，其特征在于，所述遥操作装置为可实现6个独立自由度的遥操作主手，所述相机为RGB相机，机械臂可实现6自由度的运动，灵巧手包含五个手指，与人手关节配置一致。
8.根据权利要求1所述的方法，其特征在于，所采集的数据包括映射操作过程中机械臂各个关节角度及位姿、灵巧手各个关节角度、以及机械臂手腕相机图像、机械臂外部支架相机图像、机械臂腕部
...【技术特征摘要】
1.一种虚实结合的机械臂-灵巧手系统映射操作及样本采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述末端位置及姿态信息计算机械臂末端映射值，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述关键点三维信息计算灵巧手关节映射值，包括：
4.根据权利要求3所述的方法，其特征在于，所述映射优化公式如下：
5.根据权利要求1所述的方法，其特征在于，在所述根据所述机械臂末端映射值和所述灵巧手关节映射值实时驱动机械臂和灵巧手...
【专利技术属性】
技术研发人员：李明洋，刘乃龙，徐拴锋，刘磊，张海博，周婧祎，张筱晨，黄元，刘超伟，
申请(专利权)人：北京控制工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。