【技术实现步骤摘要】
本申请涉及智能机械臂抓取领域，特别是涉及一种结合实例分割和位姿抓取算法的机器人目标抓取方法。
技术介绍
1、机械臂抓取算法涉及包括机器人学、计算机视觉、控制理论、人工智能和力学等多个领域，目前常见的机械臂抓取算法多用于工业场景下的机械臂。6-dof位姿描述了物体在空间中的位置和姿态，包括三个平移自由度（x、y、z）和三个旋转自由度（绕x、y、z轴的旋转），6-dof（6 degrees of freedom，六自由度）位姿估计在机械臂抓取中起着至关重要的作用，准确地估计物体的6-dof位姿对于机械臂能够成功抓取和操作物体至关重要。
2、目前机械臂常用的抓取方法包括gpd抓取算法和graspnet抓取算法，这两种都是基于深度学习的方法，即根据输入的点云直接预测抓取位姿，gpd抓取算法不依赖cad模型，使其在开放的环境中更具实用性，在密集杂乱环境中展示了较高的抓取成功率，也无需对对象进行分割从而简化了处理流程，而且gpd抓取算法由于能够处理部分遮挡和噪声，所以该算法的鲁棒性也很好，但是，gpd抓取算法的计算量大，可能会导致性能瓶颈，而且在对多对象处理时容易失败，所以尽管在实验条件下表现良好，但在真实场景应用中的成功率略有不足；还有一种graspnet 抓取算法能够在无监督的学习条件下生成多样化的6-dof抓取姿态，显著提高了机器人抓取的灵活性和鲁棒性，具有广泛的适用性，但是该方法在处理高度遮挡的场景时效果不理想，此外该算法在推理阶段所需要的计算开销极大，所以在实际应用时无法作出实时性的判断，另外上述两种方案都只能适用于机
3、综上所述，亟需一种可以应用于机器人在复杂场景下进行目标实时准确抓取的方法。
技术实现思路
1、本申请方案提供了一种结合实例分割和位姿抓取算法的机器人目标抓取方法，结合实例分割算法和位姿抓取算法通过两阶段抓取的方式，大大提高了抓取目标的容错率，同时利用实例分割的掩码在降低位姿抓取算法的计算量的前提下提高抓取的精准度。
2、第一方面，本申请实施例提供了一种结合实例分割和位姿抓取算法的机器人目标抓取方法，所述方法包括：
3、获取包括待抓取物体的rgbd图像；
4、将rgbd图像输入到实例分割模型中生成对应待抓取物体的物体目标检测框和物体掩码，基于物体目标检测框中的待抓取物体在真实世界坐标系的位置驱动机械臂抵达靠近待抓取物体的预抓取位置；
5、将rgbd图像分离为rgb图像与深度图像，基于物体掩码对所述rgb图像处理得到物体rgb图像，基于物体掩码对所述深度图像处理得到对应的物体深度图像，将物体rgb图像、物体深度图像输入到以机器人的机械臂夹爪参数预训练好的位姿抓取算法中得到抓取位姿；
6、基于抓取位姿驱动机械臂完成目标抓取。
7、第二方面，本申请实施例提供了一种结合实例分割和位姿抓取算法的机器人目标抓取装置，包括：
8、获取单元，用于获取包括待抓取物体的rgbd图像；
9、预抓取位置移动单元，用于将rgbd图像输入到实例分割模型中生成对应待抓取物体的物体目标检测框和物体掩码，基于物体目标检测框中的待抓取物体在真实世界坐标系的位置驱动机械臂抵达靠近待抓取物体的预抓取位置；
10、抓取位姿生成单元，用于将rgbd图像分离为rgb图像与深度图像，基于物体掩码对所述rgb图像处理得到物体rgb图像，基于物体掩码对所述深度图像处理得到对应的物体深度图像，将物体rgb图像、物体深度图像输入到以机器人的机械臂夹爪参数预训练好的位姿抓取算法中得到抓取位姿；
11、抓取单元，基于抓取位姿驱动机械臂完成目标抓取。
12、第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种结合实例分割和位姿抓取算法的机器人目标抓取方法。
13、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据一种结合实例分割和位姿抓取算法的机器人目标抓取方法。
14、本专利技术的主要贡献和创新点如下：
15、1.本方案结合实例分割算法和位姿抓取算法通过目标物的两阶段抓取，在第一阶段时利用成熟的实例分割算法分割得到的目标位置驱动机器人达到预抓取位置，第二阶段再利用位姿抓取算法对目标物进行微调和抓取，在整个过程中，相比端到端算法容错率会大大增加。第一阶段实例分割算法比较成熟，开盒即用，第二阶段的位姿估计算法相比端到端算法也更加容易训练。
16、2.本方案通过使用实例分割的方式来获取物体掩码，再使用获取的物体掩码来对位姿抓取算法阶段输入的rgbd图像进行处理，这样的方式可通过更多的先验知识来提高位姿抓取算法的结果，使其在对待抓取物体识别时没有其他噪声的干扰，保证了输出的预抓取位置更加的合理；本方案通过物体掩码对位姿抓取算法的输入图像进行处理，使其在对抓取位姿进行分析时无需考虑除待抓取目标外的其他内容，提高了位姿分析的速度和准确率，从而使本方案可以快速、精准地对目标进行抓取。
17、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
本文档来自技高网...【技术保护点】
1.一种结合实例分割和位姿抓取算法的机器人目标抓取方法，应用于带有机械臂的机器人使用，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，所述目标检测框表示待抓取物体在RGBD图像中的位置，所述物体掩码以1和0的像素来表示所述待抓取物体。
3.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，在“基于物体目标检测框中的待抓取物体在真实世界坐标系的位置驱动机械臂抵达靠近待抓取物体的预抓取位置”步骤中，使用所述物体掩码对RGBD图像进行处理得到掩码图像，获取相机内参矩阵，基于相机内参矩阵与所述掩码图像中待抓取物体的深度信息得到待抓取物体在真实世界坐标系的真实坐标位置，基于真实坐标位置驱动机械臂抵达靠近待抓取物体的预抓取位置。
4.根据权利要求3所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，使用所述物体掩码对所述RGBD图像进行逐像素滤波运算得到掩码图像，所述掩码图像中仅包含待抓取物体的颜色信息与深度信息，与待抓取物体无关部分的像
5.根据权利要求3所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，对机器人进行手眼标定得到机器人的手眼距离、手眼空间关系以及内参矩阵，使用路径规划算法基于机器人的手眼距离以及手眼空间关系将所述机械臂移动到预抓取位置。
6.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，使用所述物体掩码对RGB图像进行逐像素滤波运算得到物体RGB图像，使用所述物体掩码对深度图像进行逐像素滤波运算得到物体深度图像。
7.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，在“将物体RGB图像、物体深度图像输入到以机器人的机械臂夹爪参数预训练好的位姿抓取算法中得到抓取位姿”步骤中，所述位姿抓取算法包括抓取热力图单元以及非均匀多抓取生成器，所述抓取热力图单元用于生成多个抓取候选位姿，所述非均匀多抓取生成器用于对每一抓取候选位姿的可行性进行评估得到多个可行抓取位姿，再利用语义和几何表示对每一可行抓取位姿进行局部优化得到多个优化抓取位姿，最后对每一优化抓取位姿进行质量评估得到最终的抓取位姿。
8.一种结合实例分割和位姿抓取算法的机器人目标抓取装置，其特征在于，包括：
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-7任一所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法。
...【技术特征摘要】
1.一种结合实例分割和位姿抓取算法的机器人目标抓取方法，应用于带有机械臂的机器人使用，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，所述目标检测框表示待抓取物体在rgbd图像中的位置，所述物体掩码以1和0的像素来表示所述待抓取物体。
3.根据权利要求1所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，在“基于物体目标检测框中的待抓取物体在真实世界坐标系的位置驱动机械臂抵达靠近待抓取物体的预抓取位置”步骤中，使用所述物体掩码对rgbd图像进行处理得到掩码图像，获取相机内参矩阵，基于相机内参矩阵与所述掩码图像中待抓取物体的深度信息得到待抓取物体在真实世界坐标系的真实坐标位置，基于真实坐标位置驱动机械臂抵达靠近待抓取物体的预抓取位置。
4.根据权利要求3所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，使用所述物体掩码对所述rgbd图像进行逐像素滤波运算得到掩码图像，所述掩码图像中仅包含待抓取物体的颜色信息与深度信息，与待抓取物体无关部分的像素值为0。
5.根据权利要求3所述的一种结合实例分割和位姿抓取算法的机器人目标抓取方法，其特征在于，对机器人进行手眼标定得到机器人的手眼距离、手眼空间关系以及内参矩阵，使用路径规划算法基于机器人的手眼距离以及手眼空间关系将所述机械臂移动到预抓取位置。
...
【专利技术属性】
技术研发人员：陈以朋，韩海亮，魏康，
申请(专利权)人：西湖交互机器科技杭州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。