【技术实现步骤摘要】
本专利技术是关于机器人工业应用的，特别是关于一种基于图像引导的t形轴支架底座零件的点云分割方法。
技术介绍
1、t形轴支架底座工业零件抓取是机器人工业应用领域的非常重要的内容之一，其可以在一定程度上提高工业生产效率，降低人力成本。t形轴支架底座工业零件通常放置在一个物料框中，零件无序散乱堆放，物料框为深框，这样的摆放条件对零件的识别造成了很大的困难。因此如何在复杂场景下对深框无序堆放t形轴支架底座零件进行点云分割，对后续的点云配准以及抓取任务有着非常重要的意义。t形轴支架底座零件的点云分割是后续任务的数据基础。
2、当前对t形轴支架底座工业零件点云分割主要有三种方法，第一种是通过传统的点云算法进行手工特征提取，然后再通过点云聚类进行点云分割。这种方法可以在一定程度上对点云进行分割，但是针对深框堆叠情况的点云，无法分割出单个零件点云，会存在许多噪点点云。同时手工提取特征的方式也适用于复杂的工业场景。
3、第二种是通过深度学习的方式对点云进行直接处理：pointnet开创了直接处理点云数据进行分类和分割任务的先河，针对点云数据无序性的问题，运用对称函数处理经过多层感知机后的高维特征；但由于其输入的数据是独立的点，忽视了点与点之间的联系，缺乏捕获点之间局部特征信息的能力。现有技术中，还使用一种新的卷积方法，通过设计一个点式卷积结构，其中每个点都被用作中心，对卷积核区域的其他点云进行操作。上述两种方式都是直接通过对点云处理进行点云分割，可以应对复杂场景进行点云分割,但是直接进行点云处理，耗时很长，无法达到工业上实
4、第三种是通过图像投影的方式对图像进行处理，然后简介的进行点云分割。如squeezeseg，rangenet++的这种方式可以提高点云分割的速度，但是针对t形轴支架底座零件的检测效果不好，容易出现误漏检，无法在检测速度和检测性能上达到良好的平衡。
5、公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的在于提供一种基于图像引导的t形轴支架底座零件的点云分割方法，其能够解决t形轴支架底座零件点云分割速度慢，精度低的问题。
2、为实现上述目的，本专利技术提供了一种基于图像引导的t形轴支架底座零件的点云分割方法，包括以下步骤：
3、s1：制作t形轴支架底座零件数据集：采集t形轴支架底座零件图像，并对图像进行预处理以提高数据集的样本数和图片的质量；
4、s2：构造判别特征注意力模块：将t形轴支架底座零件图像的特征图x输入三分支路结构，输出特征图；
5、s3：构建改进的yolov8网络：在yolov8网络中的主干层和预测层之间加入步骤s2构建的判别特征注意力模块，并预测层后增加pointseg模块；将预测层的输出结果和点云数据输入到pointseg模块得到三维点云投影到平面的坐标；
6、s4：将三维点云投影到平面的坐标与分割掩膜内的点进行对比筛选，保留分割掩膜中对应的点云。
7、在本专利技术的一实施方式中，步骤s1中，对图像进行预处理的步骤包括：对图像进行水平和垂直翻转；对图片进行亮度调整。
8、在本专利技术的一实施方式中，所述对图片进行亮度调整包括：对图片进行亮度增强10-20％或减少10-20％。
9、在本专利技术的一实施方式中，所述对图片进行亮度调整包括：对图片进行亮度增强15％或减少15％。
10、在本专利技术的一实施方式中，步骤s2包括以下步骤：
11、s201：将三分支路结构中的第一支路输入的特征图x输入到位姿注意力模块中，输出第一支路特征图x1；其中，特征图x指的是将t形轴支架底座零件图像输入网络后经过卷积生成的一组特征向量；
12、s202：将第二支路输入的特征图x与第一支路特征图x1进行通道相乘，输出第二支路特征图x2；
13、s203：将第二支路特征图x2输入通道注意力模块，输出注意力特征图x3；
14、s204：将第三支路输入的特征图x与注意力特征图x3相乘，得到第三支路特征图x4，即为特征注意力机制的输出结果。
15、在本专利技术的一实施方式中，步骤s201中，位姿注意力模块对特征图x进行归一化操作，得到水平特征xw以及垂直特征xh，具体如以下公式所示：
16、xh＝yavgpool(batchnorm(relu(x)))
17、xw＝xavgpool(batchnorm(relu(x)))
18、其中，yavgpool为垂直方向的1*1平均池化，xavgpool为水平方向的1*1平均池化，relu为激活函数，batchnorm为归一化操作；
19、输出的第一支路特征图x1包括水平特征xw以及垂直特征xh，具体如以下公式所示：
20、x1＝xh+xw。
21、在本专利技术的一实施方式中，步骤s203中，在通道注意力模块中，对第二支路特征图x2进行位置注意力机制操作，如以下公式所示：
22、x3＝mc(x2)
23、其中，mc为位置注意力机制的操作。
24、在本专利技术的一实施方式中，改进的yolov8分割网络还包括：将预测层输出的小、中、大三个尺度的预测层修改为中目标和大目标预测层。
25、在本专利技术的一实施方式中，步骤s3中，pointseg层将三维点云投影到平面坐标的具体过程如下：
26、s301：获取当前相机的内参矩阵k：
27、
28、其中，fx和fy分别是相机在x和y方向上的焦距；cx和cy是图像中心的坐标；
29、s302：将相机坐标系中的三维点的坐标(x，y，z)转换为归一化的图像平面坐标：
30、
31、并使用当前相机的内参矩阵k将归一化的图像平面坐标转换为像素坐标(u，v)
32、u＝fx×x'+cx
33、v＝fy×y'+cy。
34、在本专利技术的一实施方式中，步骤s1中，数据集中的样本以9：1的比例将数据集分为训练集和验证集，用来对后续步骤s3中建立的模型进行训练和验证。
35、与现有技术相比，根据本专利技术的一种基于图像引导的t形轴支架底座零件的点云分割方法，基于yolov8分割网络，加入了判别特征注意力机制将网络的注意力集中到零件的判别性特征上；同时针对t形轴支架底座零件实际规格，减少了小目标预测层，扩大了中目标和大目标预测层，提高了零件分割精度；最后引入了一个pointseg的点云分模块，对点云信息进行投影分割。因此，本专利技术在t形轴支架底座零件点云分割精度和速度上达到良好的平衡，提本文档来自技高网...
【技术保护点】
1.一种基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，步骤S1中，对图像进行预处理的步骤包括：对图像进行水平和垂直翻转；对图片进行亮度调整。
3.如权利要求2所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，所述对图片进行亮度调整包括：对图片进行亮度增强10-20％或减少10-20％。
4.如权利要求3所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，所述对图片进行亮度调整包括：对图片进行亮度增强15％或减少15％。
5.如权利要求1所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，步骤S2包括以下步骤：
6.如权利要求5所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，步骤S201中，位姿注意力模块对特征图X进行归一化操作，得到水平特征XW以及垂直特征XH，具体如以下公式所示：
7.如权利要求6所述的基于图像引导的T形轴支架底座零件的
8.如权利要求1所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，改进的YOLOV8分割网络还包括：将预测层输出的小、中、大三个尺度的预测层修改为中目标和大目标预测层。
9.如权利要求1所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，步骤S3中，PointSeg层将三维点云投影到平面坐标的具体过程如下：
10.如权利要求1所述的基于图像引导的T形轴支架底座零件的点云分割方法，其特征在于，步骤S1中，数据集中的样本以9：1的比例将数据集分为训练集和验证集，用来对后续步骤S3中建立的模型进行训练和验证。
...【技术特征摘要】
1.一种基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，步骤s1中，对图像进行预处理的步骤包括：对图像进行水平和垂直翻转；对图片进行亮度调整。
3.如权利要求2所述的基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，所述对图片进行亮度调整包括：对图片进行亮度增强10-20％或减少10-20％。
4.如权利要求3所述的基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，所述对图片进行亮度调整包括：对图片进行亮度增强15％或减少15％。
5.如权利要求1所述的基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，步骤s2包括以下步骤：
6.如权利要求5所述的基于图像引导的t形轴支架底座零件的点云分割方法，其特征在于，步骤s201中，位姿注意力模块对...
【专利技术属性】
技术研发人员：许江杰，余开松，刘震宇，纪尧华，
申请(专利权)人：杭州炽橙数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。