一种基于3D视觉的机器人智能抓取控制方法及系统技术方案

本发明专利技术公开一种基于3D视觉的机器人智能抓取控制方法及系统，涉及机器人抓取技术领域，包括基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练；利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，分别识别获取3D图像中的物体种类、3D图像中的物体抓取姿态并最终识别获取可成功抓取物体的机器人抓取路径；根据识别结果控制机器人对视觉内物体进行抓取；本发明专利技术一方面能够在复杂环境中识别待抓取物体及其位姿；另一方面，结合手眼标定参数及周围环境信息，自主规划物体抓取路径，由末端夹持器对目标物体进行抓取，提高机器人在复杂环境下的快速部署和智能抓取能力。

A robot intelligent grasping control method and system based on 3D vision

【技术实现步骤摘要】
一种基于3D视觉的机器人智能抓取控制方法及系统
本专利技术涉及机器人抓取
，尤其涉及一种基于3D视觉的机器人智能抓取控制方法及系统。
技术介绍
目前国内尤其是珠三角和长三角区域，由于人工成本的快速上升，以及用工荒的多重压力，让3C产业链厂家还是希望，从自动化生产获得更低的成本、更高的效率、最佳的良品率。而3c行业产品种类多、更新周期短、劳动密集型的特点，要求工业机器人具有极高的智能化生产能力。2D视觉在过去几十年里已成功被应用于条码和字符识别、颜色识别、表面缺陷检测和标定平面测距等领域。但如需测量物体的深度、厚度、平面度、体积、磨损等情况时，2D视觉往往无能为力。随着电子技术和光学技术的不断发展，视觉传感器从传统的2D平面测量向3D立体环境感知技术转变；3D视觉系统由于增加了深度距离信息，且具有测量精度高、稳定性好、受光照条件变化影响小等优点，在三维测量、3D物体识别、姿态估计等领域得到越来越多的应用。然而，当前3C产线上初步应用的3D视觉抓取系统，其图像处理算法基于形封闭或力封闭准则规划抓取姿态，这种规划方法要求提前获得目标物体的三维模型，受制于大量假设，很难在复杂环境中实现，或者基于模板匹配的方法规划抓取姿态，但是实际产线中物体品类繁多，建立模板搜索库通常费时费力。因此，研究一种基于3D视觉的、能够在非结构环境下实现的机器人智能抓取技术至关重要；现有基于3D视觉的机器人抓取技术缺点：1)机器人抓取系统从传感器获取3D数据后，基于形状封闭或力封闭的准则规划物体的抓取姿态，这种规划方法要求有效的把目标物体从3D数据中分割出来，受制于大量假设(如物体摆放于特定平面，物体体积大小有一定的范围)，很难在复杂环境中实现；2)机器人抓取系统从传感器获取3D数据后，基于特征建模的三维模板匹配算法，规划未知物体的抓取姿态，但是实际产线中物体品类繁多，建立模板搜索库通常费时费力，有限的计算资源下，难以实现高帧率实时识别，大大影响机器人抓取的效率。
技术实现思路
本专利技术针对
技术介绍
的问题提供一种基于3D视觉的机器人智能抓取控制方法及系统，提高机器人在复杂环境下的快速部署和智能抓取能力。为了实现上述目的，本专利技术提出一种基于3D视觉的机器人智能抓取控制方法，包括如下步骤：S10、基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练；所述的多层自学习模型，包括但不限于：3D图像物体种类识别模型、3D图像物体抓取姿态识别模型和机器人抓取路径规划模型；S20、利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，分别识别获取3D图像中的物体种类、3D图像中的物体抓取姿态并最终识别获取可成功抓取物体的机器人抓取路径；S30、根据识别结果控制机器人对视觉内物体进行抓取。优选地，步骤S10所述的基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练，包括：S101、根据3D图像训练数据集及标注的图像中物体种类，对3D图像物体种类识别模型进行训练及图像语义分割；S102、根据3D图像训练数据集、S101的图像语义分割数据及标注的图像中各物体可抓取姿态及执行器种类，对3D图像物体抓取姿态识别模型进行预训练；S103、根据S101的图像语义分割数据、S102的图像中各物体的可抓取姿态、采样时刻机器人各关节姿态、已知的机器人姿态抓取成功率及已知的机器人各关节下一步运动增量对机器人抓取路径规划模型进行预训练。优选地，步骤S20所述的利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，包括：S201、根据预训练完成的3D图像物体种类识别模型对目标3D图像数据集进行物体种类识别，获取语义分割图像及目标3D图像内的物体种类；S202、根据预训练完成的3D图像物体抓取姿态识别模型对目标3D图像数据集及S201的图像语义分割数据进行可抓取姿态识别，获取目标3D图像中各物体所适用的末端执行器种类及各物体的可抓取姿态；S203、根据S201的图像语义分割数据、S202的各物体的可抓取姿态及采集获取的当前机器人各关节姿态进行路径规划识别，确定机器人当前姿态的抓取成功率及机器人各关节下一步运动增量。优选地，步骤S203，包括：S2031、根据S201的图像语义分割数据、S202的各物体的可抓取姿态及采集获取的当前机器人各关节姿态进行路径规划识别；S2032、判断识别获取的机器人当前姿态的抓取成功率是否大于预设阈值，若是，则将当前姿态作为抓取执行动作，否则，识别获取机器人各关节下一步运动增量；S2033、返回执行步骤S2031直至机器人姿态的抓取成功率满足设定条件。优选地，在所述S202与S203之间，还包括：S204、对数据进行上采样对齐操作。优选地，所述的模型，可采用：深度神经网络模型。本专利技术还提出一种基于3D视觉的机器人智能抓取控制系统，包括：多层自学习模型训练单元和多层自学习模型识别单元，其中，所述的多层自学习模型训练单元，用于基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练；所述的多层自学习模型，包括但不限于：3D图像物体种类识别模型、3D图像物体抓取姿态识别模型和机器人抓取路径规划模型；所述的多层自学习模型识别单元，用于利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，分别识别获取3D图像中的物体种类、3D图像中的物体抓取姿态并最终识别获取可成功抓取物体的机器人抓取路径。优选地，所述的多层自学习模型训练单元，包括：物体种类训练单元、物体抓取姿态训练单元和路径规划训练单元，其中，所述的物体种类训练单元，用于根据3D图像训练数据集及标注的图像中物体种类，对3D图像物体种类识别模型进行训练及图像语义分割；所述的物体抓取姿态训练单元，用于根据3D图像训练数据集、物体种类训练单元获取的图像语义分割数据及标注的图像中各物体可抓取姿态及执行器种类，对3D图像物体抓取姿态识别模型进行预训练；所述的路径规划训练单元，用于根据物体种类训练单元获取的图像语义分割数据、物体抓取姿态训练单元获取的图像中各物体的可抓取姿态、采样时刻机器人各关节姿态、已知的机器人姿态抓取成功率及已知的机器人各关节下一步运动增量对机器人抓取路径规划模型进行预训练。优选地，所述的多层自学习模型识别单元，包括：物体种类识别单元、物体抓取姿态识别单元和路径规划识别单元，其中，物体种类识别单元，用于根据预训练完成的3D图像物体种类识别模型对目标3D图像数据集进行物体种类识别，获取语义分割图像及目标3D图像内的物体种类；物体抓取姿态识别单元，用于根据预训练完成的3D图像物体抓取姿态识别模型对目标3D图像数据集及物体种类识别单元获取的图像语义分割数据进行可抓取姿态识别，获取目标3D图像中各物体所适用的末端执行器种类及各物体的可抓取姿态；路径规划识别单元，用于根据物体种类识别单元获本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的机器人智能抓取控制方法，其特征在于，包括如下步骤：/nS10、基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练；所述的多层自学习模型，包括但不限于：3D图像物体种类识别模型、3D图像物体抓取姿态识别模型和机器人抓取路径规划模型；/nS20、利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，分别识别获取3D图像中的物体种类、3D图像中的物体抓取姿态并最终识别获取可成功抓取物体的机器人抓取路径；/nS30、根据识别结果控制机器人对视觉内物体进行抓取。/n

【技术特征摘要】
1.一种基于3D视觉的机器人智能抓取控制方法，其特征在于，包括如下步骤：
S10、基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练；所述的多层自学习模型，包括但不限于：3D图像物体种类识别模型、3D图像物体抓取姿态识别模型和机器人抓取路径规划模型；
S20、利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，分别识别获取3D图像中的物体种类、3D图像中的物体抓取姿态并最终识别获取可成功抓取物体的机器人抓取路径；
S30、根据识别结果控制机器人对视觉内物体进行抓取。


2.根据权利要求1所述的基于3D视觉的机器人智能抓取控制方法，其特征在于，步骤S10所述的基于多层自学习模型对机器人3D图像训练数据集进行物体抓取路径规划训练，包括：
S101、根据3D图像训练数据集及标注的图像中物体种类，对3D图像物体种类识别模型进行训练及图像语义分割；
S102、根据3D图像训练数据集、S101的图像语义分割数据及标注的图像中各物体可抓取姿态及执行器种类，对3D图像物体抓取姿态识别模型进行预训练；
S103、根据S101的图像语义分割数据、S102的图像中各物体的可抓取姿态、采样时刻机器人各关节姿态、已知的机器人姿态抓取成功率及已知的机器人各关节下一步运动增量对机器人抓取路径规划模型进行预训练。


3.根据权利要求1所述的基于3D视觉的机器人智能抓取控制方法，其特征在于，步骤S20所述的利用训练完成的多层自学习模型对机器人的目标3D图像数据集进行识别，包括：
S201、根据预训练完成的3D图像物体种类识别模型对目标3D图像数据集进行物体种类识别，获取语义分割图像及目标3D图像内的物体种类；
S202、根据预训练完成的3D图像物体抓取姿态识别模型对目标3D图像数据集及S201的图像语义分割数据进行可抓取姿态识别，获取目标3D图像中各物体所适用的末端执行器种类及各物体的可抓取姿态；
S203、根据S201的图像语义分割数据、S202的各物体的可抓取姿态及采集获取的当前机器人各关节姿态进行路径规划识别，确定机器人当前姿态的抓取成功率及机器人各关节下一步运动增量。


4.根据权利要求3所述的基于3D视觉的机器人智能抓取控制方法，其特征在于，步骤S203，包括：
S2031、根据S201的图像语义分割数据、S202的各物体的可抓取姿态及采集获取的当前机器人各关节姿态进行路径规划识别；
S2032、判断识别获取的机器人当前姿态的抓取成功率是否大于预设阈值，若是，则将当前姿态作为抓取执行动作，否则，识别获取机器人各关节下一步运动增量；
S2033、返回执行步骤S2031直至机器人姿态的抓取成功率满足设定条件。


5.根据权利要求3所述的基于3D视觉的机器人智能抓取控制方法，其特征在于，在所述S202与S203之间，还包括：
S204、对数据进行...

【专利技术属性】
技术研发人员：李友浩，雷渠江，张弓，王卫军，蔡君义，徐征，
申请(专利权)人：广州中国科学院先进技术研究所，深圳市中科德睿智能科技有限公司，
类型：发明
国别省市：广东;44