【技术实现步骤摘要】
本专利技术属于计算机视觉，特别涉及一种基于机器视觉的码垛机械手精确抓取方法。
技术介绍
1、码垛机械手在自动化生产线中起着至关重要的作用，其精确抓取能力是实现高效码垛作业的核心。其设计结合了力学原理、精密控制和材料科学，采用多关节臂和软质垫片以确保稳固且轻柔的抓握。配合驱动系统和传感器，机械手能够实现毫米级的定位精度，并根据指令准确抓取和码放物品。码垛机械手不仅降低了劳动强度，提高了生产效率，还适用于特殊环境和各种形状工件的搬运，为现代生产线提供了高效、准确的解决方案。
2、识别产品位置对于码垛机械手实现精确抓取具有至关重要的意义，准确识别产品位置是码垛机械手进行精确抓取的前提。在复杂的生产环境中，产品可能以各种姿态和位置出现，只有准确识别并定位产品的位置，机械手才能精确地到达指定位置进行抓取。通过采用先进的视觉识别系统或传感器技术，机械手能够实时获取产品的位置信息，并进行快速、准确的响应。
3、在机器视觉领域，实现目标精确定位是一项关键任务，它对于自动化生产线上的精确抓取、质量检测以及机器人导航等应用至关重要。引入注意力机制可以使模型更加关注目标的关键区域，忽略无关背景信息，从而提高定位的精确性。注意力机制可以通过对特征图进行加权或选择性地处理不同区域的特征来实现。
技术实现思路
1、本专利技术提供一种基于机器视觉的码垛机械手精确抓取方法，旨在机器视觉检测中融合注意力机制，提高机器视觉在码垛机械手抓取场景的产品定位效果。
2、本专利技术旨在机器
3、s1、产品识别，通过摄像头采集产品图片，通过机器视觉检测模型实时输出产品位置，当产品到达图像中预设指定区域，进行下一步骤；
4、s2、定位与路径规划，根据产品位置获得抓取三维位置，机械手通过自主导航进行路径规划，路径为从初始位置到抓取三维位置；
5、s3、抓取准备，码垛机械手的末端执行器根据识别到的产品进行调整，并设置产品对应的抓取策略，随后，机械臂被移动到抓取三维位置，做好抓取准备；
6、s4、精确抓取，机器臂在停留在抓取三维位置，抓取控制系统根据预设的抓取策略，控制机械手的运动，实现精确抓取；
7、s5、码垛操作，抓取到产品后，机械手根据预设的程序将产品移动到指定的码垛位置；
8、s6、返回与循环，完成码垛操作后，机械手返回到初始位置，准备抓取下一个产品。
9、优选地，在s1步骤中，首先安装摄像头，摄像头在产品斜上方进行拍摄，从摄像头画面采集产品在运输过程中不同位置的外观图片，然后采集位置不正的产品外观图片，将所有图片进行标注，标注种类数量等于产品种类数量，然后将标注数据和图片形成产品训练数据集，对产品训练数据集采用mixup数据增强，使用机器视觉检测算法对产品训练数据集进行训练，获得机器视觉检测模型，机器视觉检测算法由输入、骨干网络、特征优化模块、检测头和输出组成。使用机器视觉检测模型检测产品图片，获得产品的二维坐标框，判断坐标框中心点是否处于预设指定区域，预设指定区域为二维区域，如果处于则进行下一步骤。
10、优选地，在s2步骤中，根据产品位置获得抓取三维位置，产品位置根据产品的二维坐标框确定，预设指定区域和现实中的真实区域对应，其中真实区域使用三维坐标x、y和z描述，z竖轴不变，根据转换规则将产品二维坐标框转换为产品在真实区域中的x和y值，并和固定z值组成抓取三维位置，转换规则具体如下，预设指定区域左上角坐标为0和0，右下角坐标为和，真实区域左上角坐标为0和0，右下角坐标为和，对于预设指定区域中一点和 ，转换为真实区域中一点和，，。
11、优选地，在s3步骤中，对于设置产品对应的抓取策略，当产品在运输过程发生旋转导致位置不正，不利于末端执行器进行抓取，通过将产品偏转角度传递给末端执行器进行角度微调解决该问题，当检测到产品位置不正，则对应调整码垛机械手的末端执行器抓取方向，具体检测方式为，在产品达到预设指定区域后，首先获得产品种类，并得到预先设置的该种类产品在摄像头下的坐标框纵横比，然后和检测得到的产品坐标框纵横比进行运算，如果差值大于偏移阈值则判断产品存在位置不正现象，然后计算偏移角度，首先获得该产品的中点到左上角的距离r1，然后获得产品偏转45度后中点到左上角的距离r2，然后获得产品二维坐标框的中点到左上角的距离r3，偏移角度，计算出j后，将j传给码垛机械手的末端执行器进行调整。
12、优选地，在s3步骤中，对于设置产品对应的抓取策略，通过机器视觉检测模型检测出产品类型，然后根据产品类型设置对应的抓取策略，如果存在同类型产品，但是产品尺寸不相同，应该在产品标注时将不同尺寸的同类型产品标注为不同种类。
13、优选地，对于机器视觉检测算法中的特征优化模块，输入特征到分支1、分支2和分支3，将分支2输入到cbam注意力机制中，获得优化特征2，将优化特征2输入到3×3卷积中获得卷积优化特征2，将分支3输入到自注意力机制中，得到优化特征3，将分支1、卷积优化特征2和优化特征3进行逐元素相加，得到最终优化特征并输出。
14、与现有技术相比，本专利技术具有以下技术效果：
15、本专利技术提供的技术方案，提出了特征优化模块，通过卷积及逐元素相加等操作，可以有效融合cbam和自注意力机制，增强机器视觉算法的产品定位能力，同时提出了识别产品二维坐标转三维坐标方法，以及检测位置不正产品的偏转角度，将偏转角度传递给码垛机器手进行角度调整，使产品抓取更准确。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在S1步骤中，首先安装摄像头，摄像头在产品斜上方进行拍摄，从摄像头画面采集产品在运输过程中不同位置的外观图片，然后采集位置不正的产品外观图片，将所有图片进行标注，标注种类数量等于产品种类数量，然后将标注数据和图片形成产品训练数据集，对产品训练数据集采用MixUp数据增强，使用机器视觉检测算法对产品训练数据集进行训练，获得机器视觉检测模型，机器视觉检测算法由输入、骨干网络、特征优化模块、检测头和输出组成。使用机器视觉检测模型检测产品图片，获得产品的二维坐标框，判断坐标框中心点是否处于预设指定区域，预设指定区域为二维区域，如果处于则进行下一步骤。
3.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在S2步骤中，根据产品位置获得抓取三维位置，产品位置根据产品的二维坐标框确定，预设指定区域和现实中的真实区域对应，其中真实区域使用三维坐标x、y和z描述，z竖轴不变，根据转换规则将产品二维坐
4.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在S3步骤中，对于设置产品对应的抓取策略，当产品在运输过程发生旋转导致位置不正，不利于末端执行器进行抓取，通过将产品偏转角度传递给末端执行器进行角度微调解决该问题，当检测到产品位置不正，则对应调整码垛机械手的末端执行器抓取方向，具体检测方式为，在产品达到预设指定区域后，首先获得产品种类，并得到预先设置的该种类产品在摄像头下的坐标框纵横比，然后和检测得到的产品坐标框纵横比进行运算，如果差值大于偏移阈值则判断产品存在位置不正现象，然后计算偏移角度，首先获得该产品的中点到左上角的距离r1，然后获得产品偏转45度后中点到左上角的距离r2，然后获得产品二维坐标框的中点到左上角的距离r3，偏移角度，计算出J后，将J传给码垛机械手的末端执行器进行调整。
5.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在S3步骤中，对于设置产品对应的抓取策略，通过机器视觉检测模型检测出产品类型，然后根据产品类型设置对应的抓取策略，如果存在同类型产品，但是产品尺寸不相同，应该在产品标注时将不同尺寸的同类型产品标注为不同种类。
6.根据权利要求2所述特征优化模块，其特征在于，输入特征到分支1、分支2和分支3，将分支2输入到CBAM注意力机制中，获得优化特征2，将优化特征2输入到3×3卷积中获得卷积优化特征2，将分支3输入到自注意力机制中，得到优化特征3，将分支1、卷积优化特征2和优化特征3进行逐元素相加，得到最终优化特征并输出。
...【技术特征摘要】
1.一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在s1步骤中，首先安装摄像头，摄像头在产品斜上方进行拍摄，从摄像头画面采集产品在运输过程中不同位置的外观图片，然后采集位置不正的产品外观图片，将所有图片进行标注，标注种类数量等于产品种类数量，然后将标注数据和图片形成产品训练数据集，对产品训练数据集采用mixup数据增强，使用机器视觉检测算法对产品训练数据集进行训练，获得机器视觉检测模型，机器视觉检测算法由输入、骨干网络、特征优化模块、检测头和输出组成。使用机器视觉检测模型检测产品图片，获得产品的二维坐标框，判断坐标框中心点是否处于预设指定区域，预设指定区域为二维区域，如果处于则进行下一步骤。
3.根据权利要求1所述的一种基于机器视觉的码垛机械手精确抓取方法，其特征在于，在s2步骤中，根据产品位置获得抓取三维位置，产品位置根据产品的二维坐标框确定，预设指定区域和现实中的真实区域对应，其中真实区域使用三维坐标x、y和z描述，z竖轴不变，根据转换规则将产品二维坐标框转换为产品在真实区域中的x和y值，并和固定z值组成抓取三维位置，转换规则具体如下，预设指定区域左上角坐标为0和0，右下角坐标为和，真实区域左上角坐标为0和0，右下角坐标为和，对于预设指定区域中一点和，转换为真实区域中一点和，，。
4.根据权利要求1所述的一种基于机器视觉的码垛机械手...
【专利技术属性】
技术研发人员：胡玉洋，赵志明，李开澎，范静，李可，张晓楠，王广政，
申请(专利权)人：山东科为机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。