【技术实现步骤摘要】
本专利技术涉及移动机械臂视觉感知和运动规划领域，尤其涉及复合约束下基于点云的自适应机械臂人机物体传送方法、系统及数据处理设备。
技术介绍
1、随着服务机器人在日常生活和工业领域中的广泛应用，特别是在抓取和物体传送任务中应用，使得机械臂的自适应性和智能化成为关键挑战。传统的机械臂抓取方法通常依赖于预先定义的抓取姿态或者固定的抓取点，而这种方式在面对不同形状、尺寸的物体以及复杂的工作环境时，往往表现不佳，导致抓取的成功率和效率不高。此外，在人机物体传送的场景中，机械臂需要根据用户的状态和姿势进行抓取和传送操作，增加了任务的复杂性和难度。
2、针对上述问题，近年来涌现了许多基于视觉和深度感知的自适应机械臂控制方法。其中，机械臂手眼系统和点云处理技术的发展，为实现智能抓取和传送提供了重要支持。机械臂手眼系统利用在机械臂末端安装的相机，能够实时获取周围环境的图像信息，从而实现对物体位置、姿态等关键信息的感知。结合深度相机，即可获得更为丰富的三维点云数据，为机器人提供更准确的物体形状和位置信息。
技术实现思路
1、针对服务机器人在机械臂在执行抓取任务时，难以自适应的根据任务和用户当前状态进行人机物体传送的问题，本专利技术提供一种复合约束下基于点云的自适应机械臂人机物体传送方法、系统及数据处理设备，将点云匹配和姿态估计结合，实现了机械臂在抓取和物体传送过程中的自适应性和智能化，所估计出的自适应位姿结果误差较小，规划成功率高，以满足机械臂复杂的工作环境。
2、为实现上述目的
3、s1、利用机械臂末端的深度相机，分别获取待抓取物体点云和用户人体点云；
4、s2、基于步骤s1获取的待抓取物体点云和用户人体点云，分别估计待抓取物体的抓取位姿和用户的物体传送位姿；
5、s3、基于步骤s2估计的待抓取物体的抓取位姿和用户的物体传送位姿，在复合约束下规划机械臂的运动轨迹，实现自适应机械臂人机物体传送规划。
6、优选的，步骤s2具体包括以下步骤：
7、s21、获取机械臂的相机坐标系相对于机械臂末端工具坐标系之间的欧氏旋转矩阵tooltcam，从而确定深度相机中目标物点云相对机械臂基座的坐标转换关系；
8、其具体包括以下步骤：
9、s211、设定机械臂的手眼系统闭环坐标系空间关系满足下式：
10、tooltcam＝tooltbase*basetcal*caltcam (1)
11、式中，tooltcam为深度相机坐标系相对机械臂末端工具坐标系的欧式旋转矩阵；tooltbase为机械臂末端工具坐标系相对机械臂基座坐标系的旋转矩阵；basetcal为标定板相对机械臂基座坐标系的旋转矩阵；caltcam为标定板相对深度相机坐标系的旋转矩阵；
12、推导得到：
13、basetcal＝basettool*tooltcam*camtcal (2)
14、式中，basettool为机械臂基座坐标系相对机械臂末端工具坐标系的旋转矩阵；tooltcam为机械臂末端工具坐标系相对深度相机坐标系的旋转矩阵；camtcal为深度相机坐标系相对标定板的旋转矩阵；
15、s212、分别在t0和t1时刻取两次结果，得到：
16、
17、式中，为t0时刻机械臂基座坐标系相对机械臂末端工具坐标系的旋转矩阵；为t0时刻深度相机坐标系相对标定板的旋转矩阵；为t1时刻机械臂基座坐标系相对机械臂末端工具坐标系的旋转矩阵；为t1时刻机械臂基座坐标系相对机械臂末端工具坐标系的旋转矩阵；
18、在公式(3)的左右两边分别乘以和得到：
19、
20、式中，为t1时刻机械臂末端工具坐标系相对机械臂基座坐标系的旋转矩阵；为t0时刻标定板相对深度相机坐标系的旋转矩阵；
21、转换得到：
22、ax＝xb (5)
23、其中：
24、
25、
26、x＝tooltcam (8)；
27、s213、利用tsai-lenz方法解出所求深度相机坐标系相对机械臂末端工具坐标系的欧式旋转矩阵tooltcam的数值解；
28、s214、利用深度相机内参和欧式旋转矩阵tooltcam将用户的位置坐标转换到机械臂基座坐标系上：
29、
30、
31、式中，(upixel,vpixel)为用户在像素坐标系中的位置，其为识别框的中心点坐标；(x,y,z)为用户在相机坐标系中的三维坐标；z为用户所在像素点在深度图中读出的深度值；f为深度相机的焦距；cx和cy分别是深度相机在x轴和y轴的光心位置；
32、s22、分别估计待抓取物体的抓取位姿和用户的物体传送位姿：
33、针对待抓取物体点云，使用基于二维图像特征的模板匹配方法识别目标物，以实现对三维场景点云的分割，然后使用基于三维点云特征的粗匹配和精配准相结合的点云匹配方法，估计变换矩阵，从而自适应确定待抓取物体的抓取位姿；
34、针对用户人体点云，使用结合的点云滤波和聚类方法实现场景中三维人体点云的筛选和分割，然后使用基于点云矩阵奇异值分解的方法估计人体姿态，从而自适应确定用户的物体传送位姿。
35、优选的，在步骤s22中，针对待抓取物体点云，首先使用二维surf特征分别计算模板图像和场景图像的特征点，然后使用lowe算法和ransac算法筛选特征点并计算模板匹配的单应性变换矩阵，以在相机的二维rgb图像中划定感兴趣区域；然后将感兴趣区域内的点转换成同时包含三维xyz坐标和rgb颜色的点云，再根据深度值约束进行筛选，实现对三维环境点云的分割；
36、然后使用基于fpfh三维点云特征的sac-ia点云配准方法，来实现场景物体点云和模板点云的粗匹配，使用点对点的点云icp算法实现场景物体点云和模板点云的精配准，使用基于点云匹配的方法获得模板点云和场景物体点云的欧式变换矩阵，并将欧式变换矩阵应用到对应的人工最优抓取位姿上，计算出当前场景物体的最优抓取位姿；
37、其中，点云匹配步骤如下：
38、首先计算点云中所有点的fpfh特征，即计算点云中的每个点作为当前源点及其一定邻域范围内的所有点，以计算fpfh特征，并通过直方图统计表示，根据源点和邻域内一邻点的法向量和连线，建立坐标系，其中坐标系三轴的方向计算式如下：
39、u＝ns (11)
40、v＝(pt-ps)×u (12)
41、w＝u×v (13)
42、式中，u，v，w分别表示坐标系的三个轴；ps为当前计算特征的源点；本文档来自技高网...
【技术保护点】
1.一种复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：步骤S2具体包括以下步骤：
3.根据权利要求2所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤S22中，针对待抓取物体点云，首先使用二维SURF特征分别计算模板图像和场景图像的特征点，然后使用Lowe算法和RANSAC算法筛选特征点并计算模板匹配的单应性变换矩阵，以在相机的二维RGB图像中划定感兴趣区域；然后将感兴趣区域内的点转换成同时包含三维XYZ坐标和RGB颜色的点云，再根据深度值约束进行筛选，实现对三维环境点云的分割；
4.根据权利要求3所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤S22中，针对用户人体点云，使用结合的点云滤波和聚类方法实现场景中三维人体点云的筛选和分割，具体步骤如下：
5.根据权利要求4所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤S22中，使用基于点云矩阵
6.根据权利要求5所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤S3中，设定人机物体传送任务为：以物体抓取位姿为起点，以物体传送位姿为终点，使用机械臂运动规划方法规划出有效路径，实现物体传送任务，并设定物体传送机械臂运动规划过程中的约束条件：被动链约束、环境约束、舒适度约束和任务约束。
7.根据权利要求6所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤S3中，还添加如下约束条件：使用基于机械臂末端四元数夹角的判断条件来约束相邻两路径节点运动过程中的姿态变化，判断条件如下式
8.如上述权利要求1-7任一项所述的复合约束下基于点云的自适应机械臂人机物体传送方法的系统，包括机械臂，机械臂的末端安装有深度相机，深度相机与计算机相通讯，其特征在于：计算机包括：
9.一种机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现权利要求1-7中任一项所述的复合约束下基于点云的自适应机械臂人机物体传送方法。
10.一种数据处理设备，包括处理器和机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现权利要求1-7中任一项所述的复合约束下基于点云的自适应机械臂人机物体传送方法。
...【技术特征摘要】
1.一种复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：步骤s2具体包括以下步骤：
3.根据权利要求2所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤s22中，针对待抓取物体点云，首先使用二维surf特征分别计算模板图像和场景图像的特征点，然后使用lowe算法和ransac算法筛选特征点并计算模板匹配的单应性变换矩阵，以在相机的二维rgb图像中划定感兴趣区域；然后将感兴趣区域内的点转换成同时包含三维xyz坐标和rgb颜色的点云，再根据深度值约束进行筛选，实现对三维环境点云的分割；
4.根据权利要求3所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤s22中，针对用户人体点云，使用结合的点云滤波和聚类方法实现场景中三维人体点云的筛选和分割，具体步骤如下：
5.根据权利要求4所述的复合约束下基于点云的自适应机械臂人机物体传送方法，其特征在于：在步骤s22中，使用基于点云矩阵奇异值分解的方法估计人体姿态，从而自适应确定用户的物体传送位姿，具体步骤如下：
6.根据权利要求5所述的复合约束下基于点云的自适...
【专利技术属性】
技术研发人员：颜京垚，李昕哲，钱成，李正强，华超豪，郑泽鹏，曹钧扬，张波涛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。