System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于U-Yolo6D算法的机械臂抓取工业零件方法技术_技高网
当前位置: 首页 > 专利查询>复旦大学专利>正文

基于U-Yolo6D算法的机械臂抓取工业零件方法技术

技术编号:43306622 阅读:0 留言:0更新日期:2024-11-12 16:23
本发明专利技术提供了一种基于U‑Yolo6D算法的机械臂抓取工业零件方法,具有这样的特征,包括以下步骤:步骤S1,根据工业零件得到多个训练图像和对应的标注数据作为训练数据集;步骤S2,构建U‑Yolo6D网络模型并通过训练数据集对U‑Yolo6D网络模型进行训练,得到训练后的U‑Yolo6D网络模型作为位姿提取模型;步骤S3,通过图像传感器采集包含工业零件的图像;步骤S4,将图像输入位姿提取模型,得到工业零件的位姿估计结果;步骤S5,根据位姿估计结果,控制机械臂抓取工业零件。总之,本方法能够提高机械臂抓取工业零件的准确度和速度。

【技术实现步骤摘要】

本专利技术涉及图像处理、视觉引导以及机械臂抓取领域,具体涉及一种基于u-yolo6d算法的机械臂抓取工业零件方法。


技术介绍

1、随着智能工厂生产线的兴起,分拣机器人的应用越来越普遍,在工业生产中,工业生产自动化程度越来越高,工件分拣也在朝着智能化、定制化、高效化的方向发展,分拣机器人的技术核心是机械臂抓取系统,该技术主要分为两大类型,一种是对机械臂进行定点示教,另一种是通过机器视觉系统帮助机械臂进行目标物体的获取与定位。对机械臂进行定点示教的技术中,通过固定路径来完成抓取任务,这对于目标物体摆放位置有较固定的要求,而且对工件的类型及种类也有较高要求,一般也需要固定的抓取装置来执行,通用性不强,不适宜进行装置的拓展。通过机器视觉系统帮助机械臂进行目标物体的获取与定位的技术,可以较为方便地提高机器人的感知与控制能力,也无需对抓取目标种类和抓取场景做固定限制,极大地提高了机械臂抓取系统的泛化能力。

2、现有的视觉系统主要以三维目标检测为主,涉及到机械臂抓手后期的摆放,利用三维目标检测技术识别出物体的位姿信息,将此传递给机械臂,对机械臂的摆放进行调整进而执行抓取操作。目前主流的三维目标检测算法以深度学习算法为基础,需要大规模标记数据,有些特定任务领域无法及时获取大量数据集,并且工况极其复杂。此外,现有三维目标检测算法准确度较低、算法的模型复杂度高并且模型运算速度慢。


技术实现思路

1、本专利技术是为了解决上述问题而进行的,目的在于提供一种基于u-yolo6d算法的机械臂抓取工业零件方法。

2、本专利技术提供了一种基于u-yolo6d算法的机械臂抓取工业零件方法,用于通过设有图像传感器的机械臂对工业零件进行抓取,具有这样的特征,包括以下步骤:步骤s1,根据工业零件得到多个训练图像和对应的标注数据作为训练数据集;步骤s2,构建u-yolo6d网络模型并通过训练数据集对u-yolo6d网络模型进行训练,得到训练后的u-yolo6d网络模型作为位姿提取模型;步骤s3,通过图像传感器采集包含工业零件的图像;步骤s4,将图像输入位姿提取模型,得到工业零件的位姿估计结果;步骤s5,根据位姿估计结果,控制机械臂抓取工业零件,其中,在步骤s2中,训练过程为将训练图像输入u-yolo6d网络模型,得到分割结果和检测结果,再根据分割结果和检测结果对u-yolo6d网络模型进行网络参数更新,u-yolo6d网络模型包括多个卷积层、编码器和解码器,得到分割结果和检测结果的具体过程为:对训练图像进行下采样,得到缩放训练图像,在编码器中通过对缩放训练图像进行连续下采样,依次得到第一特征图、第二特征图、第三特征图,在解码器中对第三特征图依次通过卷积层和上采样层,再和第二特征图通过卷积层的结果进行拼接,得到第四特征图,对第四特征图依次通过卷积层和上采样层,再和第一特征图通过卷积层的结果进行拼接,得到第五特征图,将缩放训练图像依次通过四个卷积层再和第五特征图依次通过卷积层和上采样层的结果进行拼接,得到第六特征图,对第六特征图通过卷积层得到分割结果,将第三特征图进行下采样的结果、第四特征图进行连续两次下采样的结果、第五特征图进行连续三次下采样的结果和第六特征图进行连续四次下采样的结果进行拼接,再通过卷积层得到检测结果。

3、在本专利技术提供的基于u-yolo6d算法的机械臂抓取工业零件方法中,还可以具有这样的特征:其中,步骤s1包括以下子步骤:步骤s1-1,根据工业零件,构建对应的三维模型;步骤s1-2,通过3d软件采集三维模型的多视角图像数据作为训练图像;步骤s1-3,构建三维模型的最小三维矩形框,再将最小三维矩形框投影在对应的训练图像上,得到训练图像对应的标注数据,将多个训练图像和对应的标注数据作为训练数据集。

4、在本专利技术提供的基于u-yolo6d算法的机械臂抓取工业零件方法中,还可以具有这样的特征:其中,步骤s2包括以下子步骤:步骤s2-1,从训练数据集中选取一个训练图像输入u-yolo6d网络模型,得到分割结果和检测结果,检测结果包括训练图像中的工业零件的分类、总体置信度得分和控制点坐标位置;步骤s2-2,根据标注数据、分割结果和检测结果,计算u-yolo6d网络模型的总损失函数得到总损失;步骤s2-3,根据总损失更新u-yolo6d网络模型的网络参数;步骤s2-4,重复执行步骤s2-1至步骤s2-3,直至达到训练完成条件,得到训练后的u-yolo6d网络模型作为位姿提取模型。

5、在本专利技术提供的基于u-yolo6d算法的机械臂抓取工业零件方法中,还可以具有这样的特征:其中,在步骤s2-2中,总损失函数的表达式为:l=λptlpt+λconflconf+λidlid+λmlm,式中l为总损失,lpt为对应控制点坐标位置的坐标损失,lconf为对应总体置信度得分的置信度损失,lid为对应分类的分类损失,lm为对应分割结果的分割损失,λpt、λconf、λid和λm分别为各项损失对应的权重参数。

6、在本专利技术提供的基于u-yolo6d算法的机械臂抓取工业零件方法中,还可以具有这样的特征:其中,步骤s4包括以下子步骤:步骤s4-1,将图像输入位姿提取模型,得到工业零件的质心、类别和3d包围框的角的2d投影的控制点的位置坐标;步骤s4-2,根据位置坐标,通过透视n点姿态估计方法,得到位姿估计结果。

7、在本专利技术提供的基于u-yolo6d算法的机械臂抓取工业零件方法中,还可以具有这样的特征:其中,步骤s5包括以下子步骤:步骤s5-1,将位姿估计结果经由图像传感器与机械臂的旋转矩阵变换,得到实际抓取位姿;步骤s5-2,根据实际抓取位姿,进行路径规划并调整机械臂的抓手的姿态,再控制抓手打开;步骤s5-3,根据路径规划的结果,控制抓手的末端位置运动到工业零件的中心点后,再控制抓手闭合实现对工业零件的抓取。

8、专利技术的作用与效果

9、根据本专利技术所涉及的基于u-yolo6d算法的机械臂抓取工业零件方法,因为在训练模型时通过分割结果和分割损失能够更好地定位工业零件的位置生成辅助分割图片,进而排除周围环境中其他物体对识别的影响,从而帮助特征提取网络更好地进行特征提取,此外,通过编码器和解码器生成三层不同尺寸的特征图,通过跳跃链接将高分辨率的特征图与低分辨率的特征图进行融合,使得在模型整体参数数量减小的情况下能够进一步提高识别准确度和速度。所以,本专利技术的基于u-yolo6d算法的机械臂抓取工业零件方法能够提高机械臂抓取工业零件的准确度和速度。

本文档来自技高网...

【技术保护点】

1.一种基于U-Yolo6D算法的机械臂抓取工业零件方法,用于通过设有图像传感器的机械臂对工业零件进行抓取,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于U-Yolo6D算法的机械臂抓取工业零件方法,其特征在于:

3.根据权利要求1所述的基于U-Yolo6D算法的机械臂抓取工业零件方法,其特征在于:

4.根据权利要求3所述的基于U-Yolo6D算法的机械臂抓取工业零件方法,其特征在于:

5.根据权利要求1所述的基于U-Yolo6D算法的机械臂抓取工业零件方法,其特征在于:

6.根据权利要求1所述的基于U-Yolo6D算法的机械臂抓取工业零件方法,其特征在于:

【技术特征摘要】

1.一种基于u-yolo6d算法的机械臂抓取工业零件方法,用于通过设有图像传感器的机械臂对工业零件进行抓取,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于u-yolo6d算法的机械臂抓取工业零件方法,其特征在于:

3.根据权利要求1所述的基于u-yolo6d算法的机械臂抓取工业零件方...

【专利技术属性】
技术研发人员:陈太琪李旦张建秋
申请(专利权)人:复旦大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1