一种容器内堆积物件自动分拣系统及方法技术方案

本发明专利技术公开了一种容器内堆积物件自动分拣系统及方法，属于人工智能与机器人技术领域，包括图像采集模块、控制单元和视觉机器人，控制单元包括图像信息处理模块和定位模块，采用堆积物件识别定位算法对采集到的图像进行处理，获取待吸取物件的位置信息。将获取到的待吸取物件的位置信息发送给视觉机器人，由视觉机器人进行吸取。本发明专利技术充分体现了机器人智能自动化的概念，视觉机器人可自主智能识别处于容器内最上方的物件，将其吸取，实现对物件的自动分拣。视觉机器人代替人类的眼睛识别定位容器内的物件，机械臂下方的磁感执行器代替人类的手在真实环境中分拣物件。系统抗环境干扰能力强，适用于各种工作环境。适用于各种工作环境。

【技术实现步骤摘要】
一种容器内堆积物件自动分拣系统及方法


[0001]本专利技术属于人工智能与机器人
，涉及一种容器内堆积物件自动分拣系统及方法。

技术介绍

[0002]自动化是指机器或装置在无人干预的情况下按规定的程序或指令自动地进行操作或运行，以及模拟人的智能活动。自动化技术广泛应用于工业、农业、国防、交通运输等各方面。自动化技术不仅可以把人从枯燥繁重的体力劳动中解放出来，还可以避免人在高危环境下进行工作，因此推进工业智能自动化成为了当前的重要任务。
[0003]目前的物料分拣机器人已经实现在平面上分拣抓取目标物体，以及将目标物体放至传送带上，或从传送带上将目标物体抓取放至目标位置。但这些物料分拣机器人仅仅是实现对于固定高度平台上的物件进行抓取，属于简单场景下的物料分拣抓取，该类视觉机器人抓取的目标物体与其所处背景有明显差异。即现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件的吸取。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术中，现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件吸取的缺点，提供一种容器内堆积物件自动分拣系统及方法。
[0005]为了达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种容器内堆积物件自动分拣系统，包括：
[0007]图像采集模块，用于采集容器内堆积物件的图像信息；
[0008]控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；
[0009]视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。
[0010]优选地，系统还包括快换架，用于在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。
[0011]优选地，图像采集模块通过安装在视觉机器人上的深度相机完成。
[0012]一种容器内堆积物件自动分拣方法，包括如下步骤：
[0013]步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
[0014]步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
[0015]步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
[0016]步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
[0017]步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
[0018]优选地，步骤1)中，训练样本为标注的保留完好的物件图片；
[0019]实例分割过程是：
[0020]基于训练样本建立实例分割网络；
[0021]将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
[0022]优选地，步骤2)的具体过程为：
[0023]基于步骤1)获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
[0024]计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
[0025]优选地，步骤3)的具体操作为：
[0026]基于步骤1)得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
[0027]计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
[0028]分别比较测试夹角与第一夹角、第二夹角之间的关系：
[0029]若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
[0030]若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度。
[0031]优选地，步骤4)的过程包括：
[0032]步骤41)记录视觉机器人的初始位置，使机器人移动直至末端磁感执行器刚好接触容器底部；
[0033]步骤42)以磁感执行器前端中心位置作为定位原点，之后在定位原点的x,y方向分别移动100毫米处，得到两个标记点；
[0034]步骤43)将视觉机器人移动至拍照位置对底板进行拍照，记录定位原点和标记点的像素坐标，基于机器人运动真实距离与像素坐标的变化大小，计算得到x,y方向任意一个像素点对应的真实距离，进一步计算得到固定拍照高度平面上任意一个点的像素坐标与机器人运动坐标的对应关系。
[0035]与现有技术相比，本专利技术具有以下有益效果：
[0036]本专利技术提供了一种容器内堆积物件自动分拣系统，包括图像采集模块、控制单元
和视觉机器人，控制单元包括图像信息处理模块和定位模块，采用堆积物件识别定位算法对采集到的图像进行处理，获取待吸取物件的位置信息。将获取到的待吸取物件的位置信息发送给视觉机器人，由视觉机器人进行吸取。本专利技术充分体现了机器人智能自动化的概念，视觉机器人可自主智能识别处于容器内最上方的物件，将其吸取，实现对物件的自动分拣。视觉机器人代替人类的眼睛识别定位容器内的物件，机械臂下方的磁感执行器代替人类的手在真实环境中分拣物件。系统抗环境干扰能力强，适用于各种工作环境。解决了人力分拣耗时耗力的问题，将人工智能与机器人技术相结合解决了工业实际需求问题。为进一步研究机器人的智能自动化系统作业奠定了基础。本专利技术打破了现有的大部分物件分拣机器人只能实现二维环境下的物件分拣的局面，本系统可以对处于任意高度的物件进行分拣。
[0037]本专利技术还公开了一种容器内堆积物件自动分拣方法，是基于上述系统完成的，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、吸取时的旋转角度及待吸取物件与目标位置之间的距离关系，并将距离关系转换成视觉机器人运动坐标，基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种容器内堆积物件自动分拣系统，其特征在于，包括：图像采集模块，用于采集容器内堆积物件的图像信息；控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。2.根据权利要求1所述的容器内堆积物件自动分拣系统，其特征在于，系统还包括快换架，用于在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。3.根据权利要求1所述的容器内堆积物件自动分拣系统，其特征在于，图像采集模块通过安装在视觉机器人上的深度相机完成。4.一种容器内堆积物件自动分拣方法，其特征在于，包括如下步骤：步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至...

【专利技术属性】
技术研发人员：徐胜军，李康平，韩九强，孟月波，刘光辉，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：