一种基于深度学习的机械臂自主抓取方法技术

一种基于深度学习的机械臂自主抓取方法，包括以下步骤：步骤1、利用视觉相机捕获一帧图像；步骤2、识别与检测机械臂操作台上所有的未知物体；步骤3、根据识别与检测结果随机地选择机械臂的抓取目标；步骤4、检测用户所选的抓取目标，并获得抓取目标的图像特征；步骤5、获得图像特征对应的深度值；步骤6、将图像特征从2维的图像坐标系下转化为3维世界坐标系下，获得最优抓取位置；步骤7、获得场景的表面法向量；步骤8、根据法向量估计结果得到抓取目标对应图像特征的法向量，获得机械臂的最优抓取姿态；步骤9、控制机械臂完成自主抓取任务；可完成高精度的自主抓取任务；具有鲁棒性强、智能化水平高的特点。

An Autonomous Grabbing Method of Robot Arm Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的机械臂自主抓取方法
本专利技术属于机器人智能控制
，具体涉及一种基于深度学习的机械臂自主抓取方法。
技术介绍
机械臂自主抓取技术是机器人领域的研究热点以及难点之一。目前，机械臂抓取技术已经广泛应用在智能物流分拣、智能仓储、智能家居等领域。在复杂的环境中，获得高精度的抓取目标位姿是机械臂成功完成自主抓取任务的关键，这对机械臂的智能化水平提出了更高的要求。视觉传感器因其非接触、能提供丰富的信息而广泛的应用在机器人技术中，因此将视觉传感器引入机械臂抓取系统，将图像处理与机械手控制相结合，利用先进的图像处理技术获取抓取目标的最优位姿，在此基础上设计视觉控制器，对于提高机械臂抓取的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。在现代工业自动化生产中，传统的工业机器人已经得到了广泛应用，但目前大多数机器人系统都是通过示教器或者离线编程方式工作的，缺乏对环境的感知和应变能力。相比较传统机器人，视觉传感器的引入可极大地提高机械臂系统对环境的感知能力。但是目前，机器人视觉抓取任务中抓取目标位姿的确定一般是通过人工标记进行的，这样虽然大大提高了图像处理过程的速度，但很难应用于类似家庭、安保、物流等非结构化环境中机械臂自主抓取。因此，目前实现机械臂对未知物体的自主抓取仍然是一个极具挑战性的任务。与传统的特征提取方法相比较，经过深度学习得到的特征具有更好的鲁棒性，其能够较好的适应训练集中未曾出现的新物体。近几年，深度学习得到了迅速的发展,提出了很多分类性能优秀的网络模型，例如，R-CNN,FastR-CNN、FasterR-CNN等。这些算法可以针对不同的目标，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。这对于提高机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性具有重要的意义。
技术实现思路
为克服上述现有技术的不足，本专利技术的目的在于提供一种基于深度学习的机械臂自主抓取方法，解决了上述现有技术不能很好的实现非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题，提高了机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性，具有抓取准确的特点。为实现上述目的，本专利技术采取的技术方案是：一种基于深度学习的机械臂自主抓取方法，包括以下步骤：步骤1，利用视觉相机捕获一帧图像；步骤2，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；步骤3，用户根据识别与检测结果随机地选择机械臂的抓取目标；步骤4，利用基于深度学习的目标识别与检测网络，检测用户所选择的抓取物体，并获得抓取目标的图像特征；步骤5，利用双目测距获得图像特征对应的深度值；步骤6，利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；步骤7，利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤8，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；步骤9，基于此，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务。步骤1中利用视觉相机捕获机器人操作台上一帧图像，使机械臂的操作目标在摄像机视野范围内。步骤2所述的基于深度学习的目标识别与检测网络采用的是YOLO9000网络模型，用于获得机器人操作台上所有物体的类别属性和位置信息。步骤3中的具体方法为：用户根据识别与检测的物体的类别属性选择自己感兴趣的目标，作为机械臂的抓取目标。步骤4所述的图像特征定义为抓取目标的中心位置，其计算公式如下：式中，(u1,v1)为抓取目标框的左下角的像素坐标，(u2,v2)为右下角的像素坐标，(u,v)为图像特征点。步骤5的具体做法是：双目测距的步骤包括4步：相机标定、双目校正、双目匹配、计算深度信息，深度信息的计算公式为：其中，焦距f和摄像头中心距B可通过标定得到，XR-XT为视差。步骤7的基于卷积神经网络的法向量估计网络采用多尺度的卷积神经网络，用于获得抓取目标对应图像特征的法向量该网络模型分为3个尺度：尺度1：用来提取特征图；尺度2：获得预测图；尺度3：获得高分辨率的预测图片。步骤8的具体做法是：根据步骤7获得的法向量进而获得抓取目标的俯仰角为：式中，b为法向量在y轴上的投影，c为法向量在y轴上的投影,根据抓取目标的俯仰角可求得6自由度机械臂末端关节角为：其中，φ1,φ2,φ3,φ4,φ5,为其他5个关节的角度。步骤9的具体方法为：利用以太网向机械臂控制柜发送相应的控制信息，控制机械臂实现自主抓取任务。本专利技术的有益效果是：1)本专利技术将基于深度学习的目标识别与检测技术应用到抓取目标最优位置确定中。经过深度学习得到的特征能够较好的适应训练集中未曾出现的新物体，且能够在复杂多变的环境下检测到抓取目标，提高了机械臂抓取位置获取的精确性和鲁棒性。2)本专利技术将基于深度学习的法向量估计网络应用到获取机械臂抓取目标的表面法向量上，进而获得机械臂的最优抓取姿态。在物体种类繁多、遮挡严重、光照变化等复杂多变的环境下，此方法仍然能够准确的估计出抓取目标的法向量，提高了机械臂抓取姿态获取的精确性和鲁棒性。3)本专利技术提出一种基于深度学习的机械臂自主抓取方法，根据目标识别与检测结果人机交互地随机选择抓取目标。因此，本专利技术提高了机械手抓取的智能化水平附图说明图1是本专利技术的基于深度学习的机械臂自主抓取系统框图。图2是本专利技术的目标识别与检测网络原理框图。图3是双目测距基本原理。图4是坐标转换过程。图5是基于深度学习的曲面法向量估计网络图。图6是本专利技术的流程图。具体实施方式以下结合附图和实施例对本专利技术作进一步说明。本专利技术提供了一种基于深度学习的机械臂自主抓取方法，其总体系统框图如图1所示。基于深度学习的机械臂自主抓取方法包括以下步骤：步骤1、利用视觉相机捕获机器人操作台上一帧图像,并且保证机械臂的操作目标在摄像机视野范围内；步骤2、利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；步骤3、用户根据识别与检测结果随机地选择机械臂的抓取目标；步骤4、利用基于深度学习的目标识别与检测网络检测用户所选择的抓取物体，并获得抓取目标的图像特征；步骤4所述的图像特征定义为抓取目标的中心位置，其计算公式如下：式中，(u1,v1)为抓取目标框的左下角的像素坐标，(u2,v2)为右下角的像素坐标，(u,v)为图像特征点。步骤5、利用双目测距获得图像特征对应的深度值；步骤6、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；步骤7、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤8、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；步骤9、基于此，向机械臂控制柜发送相应的控制信息以控制机械臂完成基于视觉的机械臂自主抓取任务在本专利技术中，其中步骤2-4使用的基于深度学习的目标识别与检测网络模型如图2所示，其过程如下：首先，经过基于深度学习的目标识别与检测网络对机械臂操作台上的物体进行识别与检测；然后，判断用户是否选择抓取目标，如果没有选择，则用户选择抓取目标，如果用户本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机械臂自主抓取方法，其特征在于，包括以下步骤：步骤1，利用视觉相机捕获一帧图像；步骤2，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；步骤3，用户根据识别与检测结果随机地选择机械臂的抓取目标；步骤4，利用基于深度学习的目标识别与检测网络，检测用户所选择的抓取物体，并获得抓取目标的图像特征；步骤5，利用双目测距获得图像特征对应的深度值；步骤6，利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；步骤7，利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤8，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；步骤9，基于此，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务。

【技术特征摘要】
1.一种基于深度学习的机械臂自主抓取方法，其特征在于，包括以下步骤：步骤1，利用视觉相机捕获一帧图像；步骤2，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；步骤3，用户根据识别与检测结果随机地选择机械臂的抓取目标；步骤4，利用基于深度学习的目标识别与检测网络，检测用户所选择的抓取物体，并获得抓取目标的图像特征；步骤5，利用双目测距获得图像特征对应的深度值；步骤6，利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；步骤7，利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；步骤8，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；步骤9，基于此，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务。2.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于,步骤1中利用视觉相机捕获机器人操作台上一帧图像，使机械臂的操作目标在摄像机视野范围内。3.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，步骤2所述的基于深度学习的目标识别与检测网络采用的是YOLO9...

【专利技术属性】
技术研发人员：辛菁，程晗，刘丁，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61