一种基于深度学习的机器人多物体分拣方法技术

本发明专利技术公开了一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：首先利用旋转目标检测网络检测任务场景中目标物体的类别、位置及旋转角度；之后通过实例分割网络分割出物体表面像素，利用相机标定、主成分分析法和欧拉角法对分割出的像素进行处理，获得目标物体的姿态；然后通过基于先验知识的物体分拣次序推理算法获得物体的分拣次序；最后机器人根据获得的物体分拣次序和位姿，自主完成多物体分拣任务。本发明专利技术基于深度学习的方法实现了场景中物体位姿和分拣次序的获取，使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作。

【技术实现步骤摘要】
一种基于深度学习的机器人多物体分拣方法
本专利技术公开了一种基于深度学习的机器人多物体分拣方法，属于机器人分拣的

技术介绍
流水线是工业制造的重要组成，大部分工厂在流水线上的分拣工作依然由人工完成。但是，随着人工成本的持续增加，机器人效率高、稳定性高和适应各种环境的优点逐渐显现。因此，许多工厂开始通过“机器换人”的方式进行分拣工作。目前常用示教器示教或离线编程的方式指导机器人重复完成规定的动作，从而对结构化场景中的物体完成抓取或分拣任务。但是，当目标物体的类别、位置和形状发生变化时，机器人需要重新进行示教或编程来完成预定的目标，这极大的降低了生产效率。在这种情况下，研究人员通过将机器人与视觉传感器相结合的方式使机器人的感知能力与环境理解能力增加，从而能够适应更加复杂的分拣任务。相较于传统的分拣系统，融合了视觉的机器人分拣系统，不仅能够识别物体的类别，还能够精确定位物体，具有更加广泛的应用前景。随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、物流仓储和深海勘探等。机器人分拣系统在面对这些非结构化场景时，不仅要实现对目标物体的识别与定位，还要理解物体的空间关系。现有的分拣系统一般通过目标检测技术或点云匹配的方式对环境中的目标物体进行识别与定位。这在面对存在堆叠、遮挡情况的多种物体分拣的情景时，不能完成预定的目标，甚至由于对物体的上下文关系理解不足，导致抓取过程中损坏了目标物体。因此，专利技术一种可以对非结构化场景中随意摆放的多物体进行分拣的方法具有很重要的意义。>
技术实现思路
本专利技术的目的在于提供一种基于深度学习的多物体分拣方法，使机器人能够自主的对堆叠的多物体实现准确、安全和高效的分拣。本专利技术通过构建的旋转目标检测网络模型对复杂分拣场景中的目标物体进行了类别、位置和旋转角度的识别。利用实例分割模型从场景中获取了物体的像素信息，并进一步转换为了点云。然后采用主成分分析法对物体进行了主法向的估计，并结合旋转角度解算出了各个物体的位姿。最后以物体表面点云变化情况作为先验知识对场景中物体的分拣顺序进行了推理，使得机器人能够自主、稳定和安全地对场景中的多个未知物体进行分拣。本专利技术所要解决的问题是由以下技术方案实现的：一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度等信息；步骤S20，通过实例分割网络分割出目标物体表面像素；步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务。优选的是，所述步骤S10的具体过程如下：步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像；步骤S102，对采集的图像按照设定的概率进行随机数据增强；步骤S103，对数据增强后形成的数据集进行标注，并利用标注后的数据集完成旋转目标检测网络的训练；步骤S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场景中目标物体类别和旋转边框。步骤S105，利用张正友标定法对Kinect相机进行标定，获得相机的内外参矩阵；步骤S106，通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的位置和旋转角度等信息。优选的是，所述步骤S20的具体过程如下：步骤S201，对数据集进行多边形标注，利用新标注后的数据集对实例分割网络进行训练；步骤S202，使用训练好的实例分割网络对场景图像进行实时处理，将目标物体的像素从图像中分割出来。优选的是，所述步骤S30的具体过程如下：步骤S301，根据相机的内、外参矩阵将分割出的物体表面像素转换为点云；步骤S302，采用降采样与离群点去除方法对点云进行预处理；步骤S303，对物体表面点云进行主成分分析，获得表面主法向。优选的是，所述步骤S40的具体过程如下：步骤S401，计算物体表面法向量与世界坐标系Z轴正方向的夹角；步骤S402，结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角，利用欧拉角法估计出物体的姿态。优选的是，所述步骤S50的具体过程如下：步骤S501，通过实验的方式，获得在不发生堆叠情况下，物体表面点云在Z轴方向上方差的阈值；步骤S502，以获得的点云方差的阈值作为先验知识，对场景中物体的分拣顺序进行推理。优选的是，所述步骤S60的具体过程如下：步骤S601，通过TCP/IP通讯的方式，将视觉处理端获取的物体位姿和分拣顺序传输给机器人控制端；步骤S602，机器人控制端接收并处理获得的信息后，根据分拣次序，指导机器人自主完成多物体分拣任务。本专利技术相对于现有而言具有的有益效果：1.目前大多数机器人分拣系统仅能够对单类目标物体或相互分离的多类目标物体完成分拣任务，而本专利技术的方法使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作。2.本专利技术提出的分拣方法不仅能够对场景中物体类别和位姿进行检测，还能够分析出堆叠物体的分拣次序，从而使机器人分拣更加智能与安全。附图说明图1是本专利技术的机器人多物体分拣方法的总体框架图。图2是本专利技术的坐标系示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术第一实施例在现有技术的基础上提供了一种基于深度学习的机器人多物体分拣方法，包括以下步骤：步骤S10，利用旋转目标检测网络来获取场景中目标物体的类别、位置和旋转角度等信息，具体步骤如下：步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像。为保证训练出来的神经网络效果良好并且有较好的泛化性，目标物体的摆放姿态和堆叠情况应尽可能的多。步骤S102，对采集的图像按照设定的概率进行随机数据增强，增强方式包括：水平翻转、旋转、裁剪、模糊和添加高斯噪声等。各种变换方式可以相互叠加，因此生成的新数据可能经过了多种变换。步骤S103，对数据增强后形成的数据集进行标注。由于要实现旋转目标检测模型的训练，因此在标注图像时，不仅要对物体的类别和位置进行标注，还需要标注目标的旋转角度。标注完成后，将数据集分为训练集与测试集，并用训练集完成本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机器人多物体分拣方法，其特征在于，所述分拣方法具体步骤如下：/n步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度信息；/n步骤S20，通过实例分割网络分割出目标物体表面像素；/n步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；/n步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；/n步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；/n步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务。/n

【技术特征摘要】
1.一种基于深度学习的机器人多物体分拣方法，其特征在于，所述分拣方法具体步骤如下：
步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度信息；
步骤S20，通过实例分割网络分割出目标物体表面像素；
步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；
步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；
步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；
步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务。


2.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S10的具体过程如下：
步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像；
步骤S102，对采集的图像按照设定的概率进行随机数据增强；
步骤S103，对数据增强后形成的数据集进行标注，并利用标注后的数据集完成旋转目标检测网络的训练；
步骤S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场景中目标物体类别和旋转边框；
步骤S105，利用张正友标定法对Kinect相机进行标定，获得相机的内外参矩阵；
步骤S106，通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的位置和旋转角度信息。


3.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S20的具体过程如下：
步骤S201...

【专利技术属性】
技术研发人员：黄玲涛，张红彦，杨劲松，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22