一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法技术

本发明专利技术公开了一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法，结合双目视觉系统、机器人抓取部位检测、任务规划与控制，基于视觉推理的多物体堆叠场景抓取方法，相关的研究结果可为分拣机器人的发展提供了基础，使分拣机器人能够适应于多物体堆叠场景的抓取任务，另外在通过对复杂工件外形特征的精确识别，以及复杂工件抓取最佳位姿，以提高分拣机器人抓取作业的精确度、稳定性和快速性。对于解决劳动密集型产业人力资源不足的情况，以及对推进制造业发展的具有重要的意义。对推进制造业发展的具有重要的意义。对推进制造业发展的具有重要的意义。

【技术实现步骤摘要】
一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法


[0001]本专利技术涉及机器人
，特别是涉及一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法。

技术介绍

[0002]随着全球人口老龄化数量的与日俱增，且人力资源的日渐匮乏，人工作业成本占制造生产成本的比例逐年增加，劳动力短缺已成为制造业建设的一个重大问题，因此装备自动化成为了一种需要和趋势。快递分拣和制造业分拣、搬运作业属于劳动密集型工作，物流行业的分拣作业仍处于人工操作阶段，针对分拣机工件慢、精确度低以及定位不准等问题。急需对分拣机器人的信息感知系统及任务规划等进行研究和创新。

技术实现思路

[0003]本专利技术的目的是提供一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法，解决分拣机器人的分拣和抓取作业效率问题，并克服分拣机器人分步分拣作业方式的不足。
[0004]为实现上述目的，本专利技术提供一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法，具体包括以下步骤：
[0005]S1、通过双目视觉系统获取成像范围内物件的图像，得到若干张待识别图像；
[0006]S2、对所述待识别图像进行预处理；
[0007]S3、对预处理后的待识别图像中的物件进行标注框标定，并采用YOLOv4算法对所述物件进行外轮廓特征提取；
[0008]S4、构建FasterR
‑
CNN网络模型，将所述物件的外轮廓特征输入到所述FasterR
‑
CNN网络模型中进行训练和优化，得到物件定位模型，输出每个物件的位置信息；
[0009]S5、基于S3～S4，采用图像信息感知技术对分拣机器人进行任务分区和工作顺序确定；
[0010]S6、基于所述S5，对分拣机器人抓取目标物的路径进行规划，所述分拣机器人根据所述工作顺序和规划路径进行抓取和分拣。
[0011]优选的，所述S3具体为：
[0012]S31、将预处理后的待识别图像按照比例划分为训练集和测试集；
[0013]S32、对所述训练集和测试集的物件分别进行标注框标定；
[0014]S33、采用YOLOv4算法对标定后的所述训练集和测试集中的物件外轮廓特征分别进行提取。
[0015]优选的，所述S4具体为：
[0016]S41、构建Faster R
‑
CNN网络模型，将所述训练集的外轮廓特征输入到所述Faster R
‑
CNN网络模型中进行训练；
[0017]S42、通过神经元节点识别结果的实时反馈，对所述Faster R
‑
CNN网络模型进行参
数优化，得到训练后的Faster R
‑
CNN网络模型；
[0018]S43、将所述测试集的外轮廓特征输入到所述训练后的Faster R
‑
CNN网络模型进行验证，当输出结果精度达到设定阈值，则得到目标物体定位模型；
[0019]S44、利用所述目标物体定位模型对每个物件进行定位，输出每个物件的位置信息。
[0020]优选的，所述S5具体为：
[0021]S51、根据所述S3的物件外轮廓特征，确定目标物的抓取类型，并根据所述抓取类型对分拣任务进行分区；
[0022]S52、确定分拣工作顺序，并根据所述S4中的每个物件的位置信息规定分拣起始位置和统计分拣顺序的路径长度；
[0023]S53、将所述S4中的每个物件的位置信息传输至分拣机器人上位机控制器，所述控制器根据接收到的位置信息获取实际物件的位置，并确定分拣机器人到达方向。
[0024]优选的，采用K
‑
means聚类算法对所述分拣任务进行分区。
[0025]优选的，采用模拟退火法对所述工作顺序进行确定。
[0026]优选的，所述S6具体为：
[0027]基于任务分区、所述实际物件的位置、分拣起始位置、统计分拣顺序的路径长度和所述分拣机器人到达方向，确定分拣机器人的最短运动轨迹且路径平滑，并确定了分拣机器人的工具端旋转的最大半径值和分离点的位置，得到分拣机器人的路径规划；然后所述分拣机器人根据分拣工作顺序和规划路径进行抓取和分拣。
[0028]优选的，所述S3中标注框标定的物件包括外轮廓完整的物件和外轮廓不完整的物件。
[0029]优选的，所述预处理包括：图像去冗余、图像灰度变换、直方图均衡化和Gabor滤波。
[0030]优选的，所述双目视觉系统采用的是ZED Stereolabs2代双目深度传感立体相机。
[0031]与现有技术相比，本专利技术具有以下技术效果：
[0032]本专利技术有效解决了自然环境下堆叠遮挡目标识别和任务规划的问题，识别精度高，速度快，可推广至物流行业和果蔬分拣等企业、以及劳动密集型组装代工大厂与中小企业等；同时还大大降低了劳动力成本负担，解决生产效率低下与补足劳力缺口等问题。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术实施例的方法流程图；
[0035]图2为本专利技术实施例的利用K
‑
means聚类算法对同类型物件图像进行任务分区的流程图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0038]实施例1
[0039]参照图1所示，本专利技术提出一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法，具体包括以下步骤：
[0040]S1、根据工作场景中的环境，分拣机器人通过双目视觉系统对成像范围内的所有物件进行图像采集，获得n张待识别图像。
[0041]其中，本专利技术采用的是SmartFLY的ZED Stereolabs 2代双目深度传感立体相机，能够感知运动和空间、感知三维世界(深度感知、位置跟踪、三维映射)、移动追踪、3D建图(3D测绘能力)、室外深度感知且感知距离长、多种支持，利用双目视觉和高分辨率的传感器，精确定位目标物的实际位置，为后续图像预处理、图像检测及目标物特征识别奠定了良好的精度基础。
[0042]S2、对得到的每张待识别图像进行预处理；
[0043]一般地，图像在采集、生成和传输过程中会受到各种噪声的干扰和影响，而致使图像包含了各种的噪声和畸变，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法，其特征在于，具体包括以下步骤：S1、通过双目视觉系统获取成像范围内物件的图像，得到若干张待识别图像；S2、对所述待识别图像进行预处理；S3、对预处理后的待识别图像中的物件进行标注框标定，并采用YOLO v4算法对所述物件进行外轮廓特征提取；S4、构建Faster R
‑
CNN网络模型，将所述物件的外轮廓特征输入到所述Faster R
‑
CNN网络模型中进行训练和优化，得到物件定位模型，输出每个物件的位置信息；S5、基于S3～S4，采用图像信息感知技术对分拣机器人进行任务分区和工作顺序确定；S6、基于所述S5，对分拣机器人抓取目标物的路径进行规划，所述分拣机器人根据所述工作顺序和规划路径进行抓取和分拣。2.根据权利要求1所述的用于分拣堆叠多目标的机器人抓取姿态任务规划方法，其特征在于，所述S3具体为：S31、将预处理后的待识别图像按照比例划分为训练集和测试集；S32、对所述训练集和测试集的物件分别进行标准框标定；S33、采用YOLOv4算法对标定后的所述训练集和测试集中的物件外轮廓特征分别进行提取。3.根据权利要求2所述的用于分拣堆叠多目标的机器人抓取姿态任务规划方法，其特征在于，所述S4具体为：S41、构建Faster R
‑
CNN网络模型，将所述训练集的外轮廓特征输入到所述Faster R
‑
CNN网络模型中进行训练；S42、通过神经元节点识别结果的实时反馈，对所述Faster R
‑
CNN网络模型进行参数优化，得到训练后的Faster R
‑
CNN网络模型；S43、将所述测试集的外轮廓特征输入到所述训练后的Faster R
‑
CNN网络模型进行验证，当输出结果精度达到设定阈值，则得到目标物体定位模型；S44、利用...

【专利技术属性】
技术研发人员：穆龙涛，邬凯，黄鑫，任军辉，权超，
申请(专利权)人：陕西工业职业技术学院，
类型：发明
国别省市：