基于多任务卷积的物体抓取定位识别算法、系统和机器人技术方案

本发明专利技术公开了基于多任务卷积的物体抓取定位识别算法、系统和机器人，获取视场范围内物体的图像与位置信息；将获取到的图像信息输入Darknet

【技术实现步骤摘要】
基于多任务卷积的物体抓取定位识别算法、系统和机器人


[0001]本专利技术涉及机器人控制
，具体是一种基于多任务卷积的物体抓取定位识别算法、系统和设备。

技术介绍

[0002]机械臂抓取是机器人重要的基础操作，在工业零部件的分拣、装配和服务型机器人等众多领域有着广泛的应用。传统的工业机器人抓取只能针对固定的任务需求，对机器人的各个关节和连杆采用离线编程或者示教编程的方式设定好固定的控制参数，以完成固定的一系列动作。这就要求抓取目标的位置和位姿需要保持一致，否则会大大影响抓取效果。这种传统的抓取模式灵活性极差，只能完成一些简单的任务，当目标大小变化、位姿变化时需要重新设定参数，且无法面对多个抓取目标或者抓取目标位置不固定的情况，无法满足越来越高的工业化生产需求。
[0003]在基于图像处理的工业机器人实际抓取任务中，经常不止要求能通过图像处理单元对待抓取物进行有效定位，而且需要对于待抓取物的物品类别进行识别分类，以完成对不同产品的分类搬运、筛选、统计。
[0004]YOLO检测网络本身被大范围的应用到物品分类任务中，将待抓取物的图像信息分别输入到两个网络中，便可以同时得到物品抓取框和物品的分类结果，但无疑这种方式都会增加计算机的计算和存储负担，大大增加完成任务耗时，对于工业机器人抓取任务的实时性要求和工作效率都会产生巨大影响。

技术实现思路

[0005]为解决现有技术中的不足，本专利技术提供一种基于多任务卷积的物体抓取定位识别算法、系统和机器人，在保证稳定性和实时性的基础上在一个模型内同时完成抓取框检测和抓取物识别分类检测。
[0006]本专利技术为实现上述目的，通过以下技术方案实现：
[0007]根据本专利技术的一个方面，提供一种基于多任务卷积的物体抓取定位识别算法，包括以下步骤：
[0008]获取视场范围内物体的图像与位置信息，并向用户输出所述获取到的图像信息；
[0009]将获取到的图像信息输入到Darknet
‑
53网络中，提取共享层的多尺度特征信息；
[0010]将提取到的多尺度特征信息映射到抓取物识别检测Multi
‑
task分支独享层和抓取物定位ED
‑
YOLO分支独享层；
[0011]两个分支独享层根据其损失函数独立计算损失值，并根据损失值利用反向传播算法分别对网络进行反向传播迭代所在分支的独享参数和共享参数；
[0012]对共享层多尺度特征信息、抓取物识别检测Multi
‑
task分支独享层以及抓取物定位ED
‑
YOLO分支独享层交替训练；
[0013]采用非极大抑制处理，得到最终的物体图像与位置信息。
[0014]进一步的，所述交替训练包括前期的共享层和两个独享层全参数更新训练、以及后期的独享层参数更新训练。
[0015]进一步的，所述前期的共享层和两个独享层全参数更新训练为：首先，固定ED
‑
YOLO支路的参数，训练Multi
‑
task独享层参数，计算Multi
‑
task预测损失，配合学习衰减策略更新共享层与Multi
‑
task独享层的网络参数；然后，固定Multi
‑
task独享层参数，训练ED
‑
YOLO独享层网络参数，计算ED
‑
YOLO预测损失，配合学习衰减策略更新共享成与ED
‑
YOLO独享层的网络参数。
[0016]进一步的，所述后期的独享层参数更新训练为：首先，固定Multi
‑
task独享层参数，对ED
‑
YOLO独享层进行参数训练，计算ED
‑
YOLO预测损失，配合学习衰减策略更新ED
‑
YOLO独享层网络参数；然后，固定ED
‑
YOLO独享层参数，训练Multi
‑
task独享层参数，计算Multi
‑
task预测损失，配合学习衰减策略更新Multi
‑
task预测损失独享层网络参数。
[0017]进一步的，最后一次ED
‑
YOLO独享层更新完成后，Multi
‑
task独享层不再更新，对训练后的Multi
‑
task独享层进行参数微调。
[0018]进一步的，训练优化器采用Adam，初始学习率为1e
‑
3，学习率衰减策略为余弦退火。
[0019]根据本专利技术的另一个方面，提供一种基于多任务卷积的物体抓取定位识别系统，其特征在于，包括：
[0020]图像获取输出模块，配置用于获取视场范围内物体的图像与位置信息，并向用户输出所述获取到的图像信息；
[0021]图像输入模块，配置用于将获取到的图像信息输入到Darknet
‑
53网络中，提取共享层的多尺度特征信息；
[0022]信息映射模块，配置用于将提取到的多尺度特征信息映射到抓取物识别检测Multi
‑
task分支独享层和抓取物定位ED
‑
YOLO分支独享层；
[0023]参数更新模块，配置用于两个分支独享层根据其损失函数独立计算损失值，并根据损失值利用反向传播算法分别对网络进行反向传播迭代所在分支的独享参数和共享参数；
[0024]训练模块，配置用于对共享层多尺度特征信息、抓取物识别检测Multi
‑
task分支独享层以及抓取物定位ED
‑
YOLO分支独享层交替训练；
[0025]结果获取模块，配置用于采用非极大抑制处理，得到最终的物体图像与位置信息。
[0026]进一步的，训练模块包括前期的共享层和两个独享层全参数更新训练、以及后期的独享层参数更新训练。
[0027]根据本专利技术的另一个方面，提供了一种设备，包括：
[0028]一个或多个处理器；
[0029]存储器，用于存储一个或多个程序，
[0030]当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一所述的方法。
[0031]根据本专利技术的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。
[0032]对比现有技术，本专利技术的有益效果在于：
[0033]本专利技术以Darknet
‑
53网络作为中心，结合空洞卷积进行多尺度自适应特征融合，组成完整的抓取定位网络ED
‑
YOLO网络；同样采用多尺度特征融合，组成完整的抓取物识别检测分支Multi
‑
task，充分增大在分支中的感受野，提高分支的识别能力；将网络结构分为特征提取共享层和两个分支独享层，使用一种独享参数与共享参数交替训练的策略解决多任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务卷积的物体抓取定位识别算法，其特征在于，包括以下步骤：获取视场范围内物体的图像与位置信息，并向用户输出所述获取到的图像信息；将获取到的图像信息输入到Darknet
‑
53网络中，提取共享层的多尺度特征信息；将提取到的多尺度特征信息映射到抓取物识别检测Multi
‑
task分支独享层和抓取物定位ED
‑
YOLO分支独享层；两个分支独享层根据其损失函数独立计算损失值，并根据损失值利用反向传播算法分别对网络进行反向传播迭代所在分支的独享参数和共享参数；对共享层多尺度特征信息、抓取物识别检测Multi
‑
task分支独享层以及抓取物定位ED
‑
YOLO分支独享层交替训练；采用非极大抑制处理，得到最终的物体图像与位置信息。2.根据权利要求1所述的一种基于多任务卷积的物体抓取定位识别算法，其特征在于，所述交替训练包括前期的共享层和两个独享层全参数更新训练、以及后期的独享层参数更新训练。3.根据权利要求2所述的一种基于多任务卷积的物体抓取定位识别算法，其特征在于，所述前期的共享层和两个独享层全参数更新训练为：首先，固定ED
‑
YOLO支路的参数，训练Multi
‑
task独享层参数，计算Multi
‑
task预测损失，配合学习衰减策略更新共享层与Multi
‑
task独享层的网络参数；然后，固定Multi
‑
task独享层参数，训练ED
‑
YOLO独享层网络参数，计算ED
‑
YOLO预测损失，配合学习衰减策略更新共享成与ED
‑
YOLO独享层的网络参数。4.根据权利要求2或3所述的一种基于多任务卷积的物体抓取定位识别算法，其特征在于，所述后期的独享层参数更新训练为：首先，固定Multi
‑
task独享层参数，对ED
‑
YOLO独享层进行参数训练，计算ED
‑
YOLO预测损失，配合学习衰减策略更新ED
‑
YOLO独享层网络参数；然后，固定ED
‑
YOLO独享层参数，训练Multi
‑
...

【专利技术属性】
技术研发人员：房桐，杜保帅，张田，赵景波，张晓寒，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：