一种实例分割方法、装置、云端设备和机器人抓取系统制造方法及图纸

本发明专利技术提供了一种实例分割方法、装置、云端设备和机器人抓取系统，所述实例分割方法包括：根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；目标网络架构包括至少两个核心网络，且一个核心网络输出一个检测结果；在至少两个检测结果中，选取一个检测结果作为实例分割结果。本发明专利技术方案，通过单一的核心网络对单一物体种类进行识别，在增加新的物体种类时，仅在目标网络架构中单独新增核心网络，并且单独训练新增的核心网络，便可实现该新增物体种类的识别，不必将整个网络进行重新训练，操作简单，同时使核心网络之间相互解耦，方便核心网络的部署。方便核心网络的部署。方便核心网络的部署。

【技术实现步骤摘要】
一种实例分割方法、装置、云端设备和机器人抓取系统


[0001]本专利技术涉及计算机视觉
，特别涉及一种实例分割方法、装置、云端设备和机器人抓取系统。

技术介绍

[0002]图像实例分割是指检测图像中的目标物体，并对目标物体进行分割的过程，传统的实例分割网络，因为鲁棒性不高等问题，已经逐渐被深度卷积神经网络，比如被YOLO(You Only Look Once)网络或mask RCNN(Regions with CNN features)网络所取代。
[0003]但是在目前的实例分割网络架构下，当新增需要识别的物体种类时，需要反复将整个网络进行重复训练，操作繁琐且复杂。

技术实现思路

[0004]本专利技术实施例提供一种实例分割方法、装置、云端设备和机器人抓取系统，用以解决现有技术中，当新增需要识别的目标物体种类时，需要反复将整个网络进行重复训练，操作繁琐且复杂的问题。
[0005]为了解决上述技术问题，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例提供一种实例分割方法，包括：
[0007]根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；其中，所述目标网络架构包括至少两个核心网络，且一个所述核心网络输出一个所述检测结果；
[0008]在至少两个所述检测结果中，选取一个检测结果作为实例分割结果。
[0009]可选地，每个所述检测结果包括所述目标图像数据中目标物体的像素点；
[0010]所述方法还包括：
>[0011]对所述实例分割结果中所述目标物体的像素点进行主成分分析，得到所述目标物体的目标位姿。
[0012]可选地，所述根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果之前，所述方法还包括：
[0013]通过所述目标网络架构的目标接口，获取所述目标图像数据，并将所述目标图像数据输入至每个所述核心网络。
[0014]可选地，每个所述检测结果还包括所述目标图像数据中目标物体与所述核心网络中预设模板的相似度；
[0015]所述在至少两个所述检测结果中，选取一个检测结果作为实例分割结果，包括：
[0016]在至少两个所述检测结果中，选取相似度最高的检测结果作为所述实例分割结果。
[0017]可选地，所述目标网络架构为YOLACT++深度卷积神经网络架构。
[0018]可选地，还包括：
[0019]根据所述目标位姿，生成针对所述目标物体的抓取策略；
[0020]发送所述抓取策略至机器人。
[0021]本专利技术实施例还提供一种实例分割装置，包括：
[0022]实例分割模块，用于根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；其中，所述目标网络架构包括至少两个核心网络，且一个所述核心网络输出一个所述检测结果；
[0023]分割结果选取模块，用于在至少两个所述检测结果中，选取一个检测结果作为实例分割结果。
[0024]可选地，每个所述检测结果包括所述目标图像数据中目标物体的像素点；
[0025]所述装置还包括：
[0026]位姿生成模块，用于对所述实例分割结果中所述目标物体的像素点进行主成分分析，得到所述目标物体的目标位姿。
[0027]可选地，所述装置还包括：
[0028]数据输入模块，用于通过所述目标网络架构的目标接口，获取所述目标图像数据，并将所述目标图像数据输入至每个所述核心网络。
[0029]可选地，每个所述检测结果还包括所述目标图像数据中目标物体与所述核心网络中预设模板的相似度；
[0030]所述分割结果选取模块包括：
[0031]分割结果选取单元，用于在至少两个所述检测结果中，选取相似度最高的检测结果作为所述实例分割结果。
[0032]可选地，所述目标网络架构为YOLACT++深度卷积神经网络架构。
[0033]可选地，所述装置还包括：
[0034]抓取策略生成模块，用于根据所述目标位姿，生成针对所述目标物体的抓取策略；
[0035]发送模块，用于发送所述抓取策略至机器人。
[0036]本专利技术实施例还提供一种机器人抓取系统，包括：机器人、边缘服务器和云端设备；
[0037]所述机器人，用于获取目标图像；
[0038]与所述机器人连接的所述边缘服务器，用于将所述目标图像进行数据融合，得到目标图像数据，并将所述目标图像数据传输至云端设备；
[0039]与所述边缘服务器连接的所述云端设备，用于实现如上任一项所述的实例分割方法。
[0040]本专利技术实施例还提供一种云端设备，包括：处理器，所述处理器用于：
[0041]根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；其中，所述目标网络架构包括至少两个核心网络，且一个所述核心网络输出一个所述检测结果；
[0042]在至少两个所述检测结果中，选取一个检测结果作为实例分割结果。
[0043]可选地，每个所述检测结果包括所述目标图像数据中目标物体的像素点；
[0044]所述处理器还用于：
[0045]对所述实例分割结果中所述目标物体的像素点进行主成分分析，得到所述目标物体的目标位姿。
[0046]可选地，所述云端设备还包括收发器，所述收发器用于：
[0047]通过所述目标网络架构的目标接口，获取所述目标图像数据，并将所述目标图像数据输入至每个所述核心网络。
[0048]可选地，每个所述检测结果还包括所述目标图像数据中目标物体与所述核心网络中预设模板的相似度；
[0049]所述处理器具体用于：
[0050]在至少两个所述检测结果中，选取相似度最高的检测结果作为所述实例分割结果。
[0051]可选地，所述目标网络架构为YOLACT++深度卷积神经网络架构。
[0052]可选地，所述处理器还用于：
[0053]根据所述目标位姿，生成针对所述目标物体的抓取策略；
[0054]发送所述抓取策略至机器人。
[0055]本专利技术实施例还提供一种云端设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的实例分割方法的步骤。
[0056]本专利技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的实例分割方法中的步骤。
[0057]本专利技术的有益效果是：
[0058]本专利技术方案，通过包括至少两个核心网络的目标网络架构，且一个核心网络用于识别一种物体类别，并对应输出一个检测结果，即通过单一的核心网络对单一物体种类进行识别，这样，在需要识别的物体种类发生变化时，如增加新的物体种类时，仅在目标网络架构中单独新增核心网络，并且单独训练新增的核心网络，便可实现该新增物体种类的识别，不必将整个网络进行重新训练，操作简单，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例分割方法，其特征在于，包括：根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；其中，所述目标网络架构包括至少两个核心网络，且一个所述核心网络输出一个所述检测结果；在至少两个所述检测结果中，选取一个检测结果作为实例分割结果。2.根据权利要求1所述的实例分割方法，其特征在于，每个所述检测结果包括所述目标图像数据中目标物体的像素点；所述方法还包括：对所述实例分割结果中所述目标物体的像素点进行主成分分析，得到所述目标物体的目标位姿。3.根据权利要求1所述的实例分割方法，其特征在于，所述根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果之前，所述方法还包括：通过所述目标网络架构的目标接口，获取所述目标图像数据，并将所述目标图像数据输入至每个所述核心网络。4.根据权利要求1所述的实例分割方法，其特征在于，每个所述检测结果还包括所述目标图像数据中目标物体与所述核心网络中预设模板的相似度；所述在至少两个所述检测结果中，选取一个检测结果作为实例分割结果，包括：在至少两个所述检测结果中，选取相似度最高的检测结果作为所述实例分割结果。5.根据权利要求1所述的实例分割方法，其特征在于，所述目标网络架构为YOLACT++深度卷积神经网络架构。6.根据权利要求2所述的实例分割方法，其特征在于，还包括：根据所述目标位姿，生成针对所述目标物体的抓取策略；发送所述抓取策略至机器人。7.一种实例分割装置，其特征在于，包括：实例分割模块，用于根据目标网络架构对目标图像数据进行实例分割，得到至少两个检测结果；其中，所述...

【专利技术属性】
技术研发人员：熊振华，许寒旭，徐享，彭盖伦，吴建华，曹腾飞，
申请(专利权)人：上海交通大学中国移动通信集团有限公司，
类型：发明
国别省市：