【技术实现步骤摘要】
本专利技术涉及机器人遥操作，具体涉及一种基于vr头显的机器人遥操作系统、方法和设备。
技术介绍
1、随着机器人智能控制技术的发展，以数据驱动的机器人技术正在被逐渐认可，因此，高效、准确地通过遥操作收集机器人运动数据以训练自身智能模型，就显得格外重要。在遥操作过程中结合vr(virtual reality，虚拟现实)头显使得操作员能够获得机器人视角的图像，并能够避免机器人本体或其他环境障碍物对操作员视线的遮挡，从而有助于提升遥操作的准确性和提高数据质量。
2、目前，机器人遥操作设备及控制过程中，大多采用操作手柄采集操作员动作位姿，若使用操作手柄采集操作员手臂末端6自由度位姿信息，与其控制仿人的7自由度的机械臂之间自由度不同，比如存在一个或一个以上冗余自由度没有控制，则会导致机械臂在奇异位置表现失控或无法实现特定的运动等问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于vr头显的机器人遥操作系统、方法和设备，以解决机器人控制不精确的问题。
2、第一方面，本专利技术提供了一种基于vr头显的机器人遥操作系统，所述系统包括：动捕设备、vr头显、上位机和机器人，其中，所述动捕设备为可穿戴设备且安装有至少一个惯性测量单元imu；
3、所述动捕设备用于通过所述至少一个imu采集被穿戴人员一个或多个身体部位的位姿，并将携带所述位姿的动捕信号发送至所述vr头显；
4、所述vr头显用于对所述动捕信号中的位姿做滤波处理，并将滤波后的一个或多个身体部
5、所述上位机用于接收所述vr头显发送的所述滤波后的一个或多个身体部位的位姿和所述vr头显位姿，按照机器人控制算法对所述位姿和所述vr头显位姿进行处理，生成至少一个控制信号，并将所述至少一个控制信号发送给所述机器人，所述至少一个控制信号用于控制所述机器人的腰、双臂、双手和颈部中的至少一个部位运动；
6、所述机器人用于接收所述上位机发送的至少一个控制信号，按照所述至少一个控制信号控制所述机器人的指定部位执行相应运动。
7、结合第一方面，在一种可能的实施方式中，所述动捕设备采集的一个或多个身体部位的位姿包括：腰部、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿；
8、所述上位机按照机器人控制算法对所述位姿和所述vr头显位姿进行处理，生成至少一个控制信号，并将所述至少一个控制信号发送给所述机器人，包括：
9、所述上位机按照第一控制算法对经滤波后的腰部相对位姿进行矩阵变换、坐标系对齐、欧拉角转换和提取处理，生成包含机器人腰部控制角度的第一控制信号；
10、所述上位机按照第二控制算法对所述机器人腰部控制角度、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿进行优化处理，计算得到所述机器人的机械臂在至少一个自由度上活动的第二控制信号；
11、所述上位机将所述第一控制信号和所述第二控制信号发送给所述机器人。
12、结合第一方面，在另一种可能的实施方式中，所述上位机按照第一控制算法对经滤波后的腰部相对位姿进行矩阵变换、坐标系对齐、欧拉角转换和提取处理，生成包含机器人腰部控制角度的第一控制信号，包括：
13、将所述经滤波后的腰部相对位姿转换为第一齐次坐标变换矩阵；
14、将所述第一齐次坐标变换矩阵乘以一个包含旋转和平移的齐次坐标变换矩阵，以使腰部相对位姿的世界坐标系与机器人世界坐标系的第一原点和朝向参数对齐；
15、将对齐后的所述第一原点和所述朝向参数转换为第一欧拉角，所述第一欧拉角包括多个自由度的多个角度；
16、从所述第一欧拉角的多个自由度的多个角度中提取目标自由度对应的目标角度，并生成包含所述目标角度的第一控制信号。
17、结合第一方面，在又一种可能的实施方式中，所述上位机按照第二控制算法对所述机器人腰部控制角度、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿进行优化处理，计算得到所述机器人的机械臂在至少一个自由度上活动的第二控制信号，包括：
18、根据所述机器人腰部控制角度、所述左/右肩膀、所述左/右上臂、所述左/右肘和所述左/右手腕的相对位姿，基于机器人运动学算法和坐标变换计算，得到左/右手腕相对机器人坐标系的位姿；
19、对所述左/右上臂和所述左/右肘的相对位姿进行运动学处理，获取至少一个自由度机械臂冗余关节的旋转角度；
20、将所述左/右手腕相对机器人坐标系的位姿和所述至少一个自由度机械臂冗余关节的旋转角度作为优化目标，将机械臂各关节力矩作为优化对象，机械臂各关节电机物理性能为约束条件，构建多目标优化函数，并求解所述多目标优化函数得到机械臂在至少一个自由度上活动的所述第二控制信号。
21、结合第一方面，在又一种可能的实施方式中，所述根据所述机器人腰部控制角度、所述左/右肩膀、所述左/右上臂、所述左/右肘和所述左/右手腕的相对位姿，基于机器人运动学算法和坐标变换计算，得到左/右手腕相对机器人坐标系的位姿，包括：
22、将所述左/右肩膀、所述左/右上臂、所述左/右肘和所述左/右手腕的相对位姿组成从腰到左/右手腕的两条运动链，基于机器人正运动学算法计算所述两条运动链上的左/右手腕相对腰部坐标系的位姿，并将所述位姿转换为第二齐次坐标变换矩阵；
23、将第二齐次坐标变换矩阵乘以一个包含旋转和平移的齐次坐标变换矩阵，以使动捕信号的世界坐标系与机器人腰部坐标系的第二原点和朝向数据对齐；
24、将所述机器人腰部控制角度做逆运算，得到对应的第三齐次坐标变换矩阵；
25、将对齐后的所述第二原点和所述朝向数据乘以所述第三齐次坐标变换矩阵，得到所述左/右手腕相对机器人坐标系的位姿。
26、结合第一方面，在又一种可能的实施方式中，所述上位机生成包含机器人腰部控制角度的第一控制信号之后，还包括：
27、对所述vr头显位姿进行滤波处理，得到滤波后的vr头显位姿；
28、将所述滤波后的vr头显位姿转换为第四齐次坐标变换矩阵，并乘以由所述第一控制信号转换的齐次坐标变换矩阵的逆，得到颈部相对于腰部的位姿；
29、将所述颈部相对于腰部的位姿转换为对应的第二欧拉角，所述第二欧拉角包括至少一个自由度的至少一个角度；
30、从所述第二欧拉角的至少一个自由度的至少一个角度中提取目标自由度对应的目标角度，并生成包含所述目标角度的第三控制信号；
31、将所述第三控制信号发送给所述机器人，所述第三控制信号用于控制所述机器人的颈部部位运动。
32、结合第一方面，在又一种可能的实施方式中，所述动捕设备采集的一个或多个身体部位的位姿包括：左/右手腕和手部各个手指的相对位姿；
33、所述上位机按照机器人控制算法对所述位姿和所述vr头显位姿进行处理，生成至少一个控制信号，并将所述至少一个控制信号发送给所述本文档来自技高网...
【技术保护点】
1.一种基于VR头显的机器人遥操作系统，其特征在于，所述系统包括：动捕设备、VR头显、上位机和机器人，其中，所述动捕设备为可穿戴设备且安装有至少一个惯性测量单元IMU；
2.根据权利要求1所述的系统，其特征在于，所述动捕设备采集的一个或多个身体部位的位姿包括：腰部、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿；
3.根据权利要求2所述的系统，其特征在于，所述上位机按照第一控制算法对经滤波后的腰部相对位姿进行矩阵变换、坐标系对齐、欧拉角转换和提取处理，生成包含机器人腰部控制角度的第一控制信号，包括：
4.根据权利要求2所述的系统，其特征在于，所述上位机按照第二控制算法对所述机器人腰部控制角度、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿进行优化处理，计算得到所述机器人的机械臂在至少一个自由度上活动的第二控制信号，包括：
5.根据权利要求4所述的系统，其特征在于，所述根据所述机器人腰部控制角度、所述左/右肩膀、所述左/右上臂、所述左/右肘和所述左/右手腕的相对位姿，基于机器人运动学算法和坐标变换计算，得到左/右手腕相
6.根据权利要求2所述的系统，其特征在于，所述上位机生成包含机器人腰部控制角度的第一控制信号之后，还包括：
7.根据权利要求1所述的系统，其特征在于，所述动捕设备采集的一个或多个身体部位的位姿包括：左/右手腕和手部各个手指的相对位姿；
8.根据权利要求1-7任一项所述的系统，其特征在于，所述机器人的头部安装有双目相机；
9.根据权利要求1-7任一项所述的系统，其特征在于，所述VR头显还用于对滤波后的一个或多个身体部位的位姿进行运动学转换，以及将所述动捕信号与Unity场景中的假人模型对齐坐标系原点和朝向，并更新所述Unity场景中的假人模型动作。
10.一种基于VR头显的机器人遥操作方法，其特征在于，应用于上位机，所述方法包括：
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器相连接；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令；
...【技术特征摘要】
1.一种基于vr头显的机器人遥操作系统，其特征在于，所述系统包括：动捕设备、vr头显、上位机和机器人，其中，所述动捕设备为可穿戴设备且安装有至少一个惯性测量单元imu；
2.根据权利要求1所述的系统，其特征在于，所述动捕设备采集的一个或多个身体部位的位姿包括：腰部、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿；
3.根据权利要求2所述的系统，其特征在于，所述上位机按照第一控制算法对经滤波后的腰部相对位姿进行矩阵变换、坐标系对齐、欧拉角转换和提取处理，生成包含机器人腰部控制角度的第一控制信号，包括：
4.根据权利要求2所述的系统，其特征在于，所述上位机按照第二控制算法对所述机器人腰部控制角度、左/右肩膀、左/右上臂、左/右肘和左/右手腕的相对位姿进行优化处理，计算得到所述机器人的机械臂在至少一个自由度上活动的第二控制信号，包括：
5.根据权利要求4所述的系统，其特征在于，所述根据所述机器人腰部控制角度、所述左/右肩膀、所述左/右上臂、所述左/右肘和所述左/右手腕的相对位姿，基于机器人运动学...
【专利技术属性】
技术研发人员：高松，马永浩，熊颖，范一耐，达兴烨，
申请(专利权)人：广州小鹏汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。