【技术实现步骤摘要】
本专利技术涉及机械手智能交互，尤其涉及一种基于视觉的动态人机物体交接方法以及系统。
技术介绍
1、随着人口老龄化的社会问题日益严重，未来社会将有大量的工作场景需要人机协作和互动。其中，人机物体交接是最常见的操作之一。机器人通过多指灵巧手在动态场景下实现快速流畅的操作，对于推动机器人真正融入人类日常生产生活场景并在多重任务中提供服务，具有重要意义。
2、然而，传统的人机物体交接过程中，仅对交接者的手部进行识别或者仅对物体进行识别，其导致人机物体交接过程中机械手容易与交接者的手部发生碰撞，机械手可能会碰伤交接者的手部，造成现有的人机物体交接的安全性低。另外，现有的人机物体交接通常采用开环控制，在机械手执行交接任务时要求交接者保持静止状态，在交接者调整姿势导致物体移动时，机械手不能根据物体的移动变化进行动态适应，造成现有的人机物体交接成功率低。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于视觉的动态人机物体交接方法以及系统，以解决人机物体交接的安全性低、成功率低的问题。
2、为了解决上述技术问题，本专利技术采用的技术方案为：一种基于视觉的动态人机物体交接方法，包括以下步骤：
3、s1、实时采集图像数据，根据第一帧图像获取起始物体点云和起始手部点云；
4、s2、根据所述起始物体点云和所述起始手部点云获取无碰撞抓取配置；
5、s3、根据所述无碰撞抓取配置对机器人的抓取动作参数进行配置；
6、s4、获取当
7、进一步的，在所述步骤s1中，根据第一帧图像获取起始物体点云和起始手部点云，具体包括：
8、所述第一帧图像包括rgb图像和深度图像；根据所述rgb图像识别手部边界框和物体边界框；分割模型根据所述手部边界框、所述物体边界框和所述rgb图像获取手部分割掩码和物体分割掩码，将所述手部分割掩码投影至所述深度图像上，以获取所述起始手部点云，将所述物体分割掩码投影至所述深度图像上，以获取所述起始物体点云。
9、进一步的，在所述步骤s2中，根据所述起始物体点云和所述起始手部点云获取无碰撞抓取配置，包括：
10、根据所述起始物体点云生成多个待选抓取配置，分别评估多个所述待选抓取配置的抓取成功率，按照所述抓取成功率由大到小对多个所述待选抓取配置进行排序并且依次进行碰撞检测，直至筛选出无碰撞抓取配置。
11、进一步的，所述的按照所述抓取成功率由大到小对多个所述待选抓取配置进行排序并且依次进行碰撞检测，包括：
12、根据所述待选抓取配置构建机械手模型，分别计算所述起始手部点云中所有点与所述机械手模型之间的距离，判断是否所述起始手部点云中所有点与所述机械手模型之间的距离均小于或者等于预设距离值；若是，所述待选抓取配置为无碰撞抓取配置；若否，所述待选抓取配置为有碰撞抓取配置。
13、进一步的，所述无碰撞抓取配置包括相机坐标系下的朝向参数、相机坐标系下的位置参数和关节角参数。
14、进一步的，在所述步骤s2中，根据所述无碰撞抓取配置对机器人的抓取动作参数进行配置，包括：将所述相机坐标系下的朝向参数进行坐标变换转换为机器人坐标系下的朝向参数，将所述相机坐标系下的位置参数进行坐标变换转换为机器人坐标系下的位置参数，所述机器人的机械手按照所述关节角参数进行闭合。
15、进一步的，在所述步骤s4中，根据所述当前帧图像和所述上一帧图像判断物体是否发生移动，包括：
16、根据所述上一帧图像获取上一帧物体点云，根据所述当前帧图像获取当前帧物体点云，判断所述上一帧物体点云的坐标中心与所述当前帧物体点云的坐标中心的距离是否小于预设距离阈值；若是，所述物体未发生移动；若否，所述物体发生移动。
17、进一步的，在所述步骤s4中，根据所述当前帧图像和所述上一帧图像生成新的抓取配置，包括：获取当前帧物体点云和上一帧物体点云之间的变换矩阵；与当前的所述机器人的抓取动作参数对应的抓取配置根据所述变换矩阵进行变换，以获得所述新的抓取配置。
18、进一步的，还包括步骤s5：判断连续的物体未发生移动的次数是否等于预设次数；若是，结束流程；若否，返回执行步骤s4。
19、本专利技术的另一目的在于提供一种基于视觉识别的动态人机物体交接系统，其用于实现上述的动态人机物体交接方法，动态人机物体交接系统包括输入单元、控制单元和机器人，所述输入单元和所述机器人均与所述控制单元连接，所述输入单元用于实时采集图像数据，所述控制单元包括场景理解模块、抓取规划模块和动态抓取模块，所述抓取规划模块和所述动态抓取模块均与所述场景理解模块连接，所述抓取规划模块与所述动态抓取模块连接；所述场景理解模块用于根据所述图像数据获取手部点云和物体点云；所述抓取规划模块用于根据所述图像数据的第一帧图像的手部点云和所述图像数据的第一帧图像的物体点云获取无碰撞抓取配置；所述动态抓取模块用于根据所述图像数据中连续的两帧图像分析是否物体发生移动，并且在物体发生移动时生成新的抓取配置。
20、本专利技术的有益效果在于：本专利技术提供的这种动态人机物体交接方法能够对图像数据分割出手部点云和物体点云，并且结合手部点云和物体点云可以获得无碰撞抓取配置，以避免机器人和机械手在抓取物体的过程中与交接者的手部发生碰撞，提高人机物体交接的抓取效果和安全性；另外，该动态人机物体交接方法在人机物体交接过程中无需交接者保持静止状态，该动态人机物体交接方法能够适应交接过程中物体的动态变化，根据物体的动态变化情况进行动态适应并且对应生成新的抓取配置，从而提高该动态人机物体交接方法的抓取成功率。
本文档来自技高网...【技术保护点】
1.一种基于视觉的动态人机物体交接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤S1中，根据第一帧图像获取起始物体点云和起始手部点云，具体包括：
3.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤S2中，根据所述起始物体点云和所述起始手部点云获取无碰撞抓取配置，包括：
4.根据权利要求3所述的动态人机物体交接方法，其特征在于，所述的按照所述抓取成功率由大到小对多个所述待选抓取配置进行排序并且依次进行碰撞检测，包括：
5.根据权利要求1所述的动态人机物体交接方法，其特征在于，所述无碰撞抓取配置包括相机坐标系下的朝向参数、相机坐标系下的位置参数和关节角参数。
6.根据权利要求5所述的动态人机物体交接方法，其特征在于，在所述步骤S2中，根据所述无碰撞抓取配置对机器人的抓取动作参数进行配置，包括：将所述相机坐标系下的朝向参数进行坐标变换转换为机器人坐标系下的朝向参数，将所述相机坐标系下的位置参数进行坐标变换转换为机器人坐标系下的位置参数，所述机器人的机械手
7.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤S4中，根据所述当前帧图像和所述上一帧图像判断物体是否发生移动，包括：
8.根据权利要求7所述的动态人机物体交接方法，其特征在于，在所述步骤S4中，根据所述当前帧图像和所述上一帧图像生成新的抓取配置，包括：获取当前帧物体点云和上一帧物体点云之间的变换矩阵；与当前的所述机器人的抓取动作参数对应的抓取配置根据所述变换矩阵进行变换，以获得所述新的抓取配置。
9.根据权利要求1所述的动态人机物体交接方法，其特征在于，还包括步骤S5：判断连续的物体未发生移动的次数是否等于预设次数；若是，结束流程；若否，返回执行步骤S4。
10.一种基于视觉识别的动态人机物体交接系统，其特征在于，所述动态人机物体交接系统用于实现权利要求1至9任意一项所述的动态人机物体交接方法，其包括输入单元、控制单元和机器人，所述输入单元和所述机器人均与所述控制单元连接，所述输入单元用于实时采集图像数据，所述控制单元包括场景理解模块、抓取规划模块和动态抓取模块，所述抓取规划模块和所述动态抓取模块均与所述场景理解模块连接，所述抓取规划模块与所述动态抓取模块连接；所述场景理解模块用于根据所述图像数据获取手部点云和物体点云；所述抓取规划模块用于根据所述图像数据的第一帧图像的手部点云和所述图像数据的第一帧图像的物体点云获取无碰撞抓取配置；所述动态抓取模块用于根据所述图像数据中连续的两帧图像分析是否物体发生移动，并且在物体发生移动时生成新的抓取配置。
...【技术特征摘要】
1.一种基于视觉的动态人机物体交接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤s1中，根据第一帧图像获取起始物体点云和起始手部点云，具体包括：
3.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤s2中，根据所述起始物体点云和所述起始手部点云获取无碰撞抓取配置，包括：
4.根据权利要求3所述的动态人机物体交接方法，其特征在于，所述的按照所述抓取成功率由大到小对多个所述待选抓取配置进行排序并且依次进行碰撞检测，包括：
5.根据权利要求1所述的动态人机物体交接方法，其特征在于，所述无碰撞抓取配置包括相机坐标系下的朝向参数、相机坐标系下的位置参数和关节角参数。
6.根据权利要求5所述的动态人机物体交接方法，其特征在于，在所述步骤s2中，根据所述无碰撞抓取配置对机器人的抓取动作参数进行配置，包括：将所述相机坐标系下的朝向参数进行坐标变换转换为机器人坐标系下的朝向参数，将所述相机坐标系下的位置参数进行坐标变换转换为机器人坐标系下的位置参数，所述机器人的机械手按照所述关节角参数进行闭合。
7.根据权利要求1所述的动态人机物体交接方法，其特征在于，在所述步骤s4中，根据所述当前帧图像和所述上一帧图像判断物体是否发生移动，包括：
【专利技术属性】
技术研发人员：金虎，欧阳一鸣，尹以胜，陈泽麟，马文鹏，张世武，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。