【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于深度学习的密集堆叠花蕾分拣方法及分拣系统。
技术介绍
1、近年来，糕点类食品常用到花蕾(例如茉莉花)作为点缀装饰，在加工中需要对花蕾进行分拣。目前从密集堆叠花蕾中分拣花蕾由人工完成，制约了生产效率且存在食品安全风险。基于深度学习的目标检测方法在目标的分拣领域得到广泛应用。现有的基于rgb图像的目标检测方法能够很好的识别出不同类别的花蕾，但单独的rgb图像无法完全反映待分拣目标的空间信息，而采用点云的目标检测方法虽然可以较好的获取待分拣目标的空间信息，但在分拣密集堆叠花蕾这类特征遮挡且具有质心位置不规则的情况下，现有分拣方法及分拣系统的精度并不能满足实际生产的要求，导致产品质量不稳定、生产效率低下等问题。
技术实现思路
1、1.所要解决的技术问题：
2、现有分拣方法及分拣系统的精度并不能满足实际生产的要求，导致产品质量不稳定、生产效率低下等问题
3、2.技术方案：
4、为了解决以上问题，本专利技术提供了一种基于深度学习的密集堆叠花蕾分拣方法，其特征在于：包括以下步骤：
5、步骤s01：对相机坐标系，机械臂坐标系进行手眼标定，并完成机械臂的示教。
6、步骤s02：图像采集端采集密集堆叠花蕾的rgb图像和与之像素相对应的点云深度图。
7、步骤s03：改进yolov8深度学习模型，并进行预训练，获得目标检测模型。
8、步骤s04：使用目标检测模型对采集到的rgb
9、步骤s05：对目标花蕾的进行优先分拣筛选，选出待分拣花蕾并将其分拣位置的空间坐标依次发送给驱动控制器。
10、步骤s06：驱动控制器接收待分拣花蕾分拣位置的空间坐标后，控制机械臂执行分拣。
11、步骤s07：机械臂执行分拣，将待分拣花蕾分拣到指定位置。
12、进一步地，在步骤s01中，具体提方法为：使用相机拍摄多张棋盘格标定板的rgb-d图像，然后利用标定图像对相机坐标系和机械臂坐标系进行手眼标定，通过抓取和拍照位姿关系，计算并保存物体与机械臂坐标系之间的相对位姿，完成示教。
13、进一步地，所述步骤s03的具体方法包括以下步骤：
14、步骤s31：采集样本数据并进行图像预处理；利用图像采集端采集2000张不同的密集堆叠在物料托盘中的花蕾图像，然后对图像进行预处理。
15、步骤s32：对数据集图片进行标注：使用rolabelimg对数据集图片进行标注，按照合格花蕾和残次花蕾进行分类并标注，保存并输出标注文件，之后按照8:2的比例划分数据集为训练集和测试集。
16、步骤s33：改进yolov8深度学习模型；将主干网络替换为starnet网络，将空间金字塔池化结构中的激活函数替换为relu函数，relu激活函数如下：
17、relu(x)＝max(0,x)。
18、颈部网络中，将c2f模块中的bottleneck替换为star blocks，同时在特征融合模块中加入bifpn网络。在头部网络中，将输出尺度为20×20的检测头为初始到进行该尺寸的上采样层为终点的模块全部进行剔除处理，并将保留的检测头替换为定向边界框检测头。
19、步骤s34：使用标注好的数据集在改进的yolov8深度学习模型中进行预训练，取最好的训练结果为目标检测模型。
20、进一步地，在步骤s31中，图像预处理的方法为：先对采集到的图像进行自适应直方图均衡化，获得更多的图像细节信息，然后对图像进行加权平均灰度化处理，加权平均法的定义如下：
21、gray(x,y)＝ar(x,y)+bg(x,y)+cb(x,y)，
22、其中a,b,c分别为r通道，g通道和b通道的权值，且a+b+c＝1，x,y为不同像素的坐标信息，根据多次实验最终确定a,b,c的值。
23、进一步地，所述步骤s04的具体方法为：
24、步骤s41：预测目标花蕾的类别；将采集的rgb图像输入到目标检测模型中，获得输出预测框及目标花蕾的类别。
25、步骤s42：预测目标花蕾的等效质点系；在目标检测模型的第5，11，14层进行梯度加权类激活映射，获得三张热力图，取热力图中热力值为1的所有位置作为目标花蕾的等效质点系，得到等效质点系内所有质点坐标(ui,vi)。
26、步骤s43：预测目标花蕾质心的二维坐标cavg(u,v)。
27、步骤s44、预测目标花蕾分拣位置的空间坐标cspace(x,y,z)。
28、进一步地，在步骤s43中，具体方法为：由平面质点系质心计算方法可计算出等效质点系的质心二维坐标c(u,v)，具体如下：
29、
30、其中，mi为质点系内像素和，m为所有质点的质量和；在三张热力图中分别得到三个不同的质心二维坐标c1(u1,v1),c2(u2,v2),c3(u3,v3)后，计算得到最终目标花蕾质心的二维坐标cavg(u,v)，具体计算方法如下：
31、
32、进一步地，所述步骤s44的具体方法为：在所采集到的点云深度图中对目标花蕾质心的二维坐标cavg(u,v)进行测距，获得其对应的深度信息d，使用点云三维坐标计算公式确定目标花蕾质心二维坐标cavg(u,v)所对应的空间坐标，并将其确定为目标花蕾分拣位置的空间坐标cspace(x,y,z),点云三维坐标计算公式如下：
33、
34、其中，fx和fy分别为相机水平方向上的焦距和垂直方向上的焦距，cx和cy为相机图像主点的x坐标和图像主点的y坐标。
35、进一步地，步骤s05的具体方法为：
36、步骤s51：对密集堆叠花蕾的点云数据进行预处理；使用直通滤波算法去除背景点云信息，得到只包含密集堆叠花蕾的点云数据，使用欧式聚类分割算法对堆叠花蕾点云进行分割，将堆叠花蕾分割成一个个独立的点云子集。
37、步骤s52：获得目标花蕾完整3d点云数据；制作花蕾的三维模型，并进行点云采样获得目标花蕾完整3d点云数据。
38、步骤s53：根据目标花蕾分拣位置的空间坐标和点云匹配度进行优先分拣筛选。
39、步骤s54：将待分拣花蕾分拣位置的空间坐标依次发送给驱动控制器。
40、进一步地，步骤s53的具体方法为：综合目标花蕾分拣位置的空间坐标和点云匹配度进行分拣优先评分，得到不同目标花蕾的得分si，然后对得分si进行归一化，获得最终分拣得分si'，具体如下：
41、
42、其中w1、w2和w3分别为目标花蕾分拣位置z坐标、目标花蕾分拣位置(x,本文档来自技高网...
【技术保护点】
1.一种基于深度学习的密集堆叠花蕾分拣方法，其特征在于：包括以下步骤：
2.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤S01中，具体提方法为：使用相机拍摄多张棋盘格标定板的RGB-D图像，然后利用标定图像对相机坐标系和机械臂坐标系进行手眼标定，通过抓取和拍照位姿关系，计算并保存物体与机械臂坐标系之间的相对位姿，完成示教。
3.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤S03的具体方法包括以下步骤：
4.如权利要求3所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤S31中，图像预处理的方法为：先对采集到的图像进行自适应直方图均衡化，获得更多的图像细节信息，然后对图像进行加权平均灰度化处理，加权平均法的定义如下：
5.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤S04的具体方法为：
6.如权利要求5所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤S43中，具体方法为：由平面质点系质心计算方法可计算出等效质点系的
7.如权利要求5所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤S44的具体方法为：在所采集到的点云深度图中对目标花蕾质心的二维坐标Cavg(u,v)进行测距，获得其对应的深度信息d，使用点云三维坐标计算公式确定目标花蕾质心二维坐标Cavg(u,v)所对应的空间坐标，并将其确定为目标花蕾分拣位置的空间坐标Cspace(x,y,z),点云三维坐标计算公式如下：
8.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：步骤S05的具体方法为：
9.如权利要求8所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：步骤S53的具体方法为：综合目标花蕾分拣位置的空间坐标和点云匹配度进行分拣优先评分，得到不同目标花蕾的得分Si，然后对得分Si进行归一化，获得最终分拣得分Si'，具体如下：
10.一种基于深度学习的密集堆叠花蕾分拣系统，其特征在于：包括图像采集端、工控机，驱动控制器和机械臂，图像采集端包含一个深度相机，采集物料托盘中的密集堆叠花蕾的RGB图像和与之像素相对应的点云深度图，分别发送给工控机；所述工控机接收图像采集端发送的RGB图像并对其进行处理，得到目标花蕾分拣位置的空间坐标，并对目标花蕾进行优先分拣筛选，按照优先分拣得分选出待分拣花蕾后，将其分拣位置的空间坐标依次发送到驱动控制器；所述驱动控制器接收待分拣花蕾分拣位置的空间坐标后，控制机械臂执行分拣；所述机械臂执行分拣，将待分拣花蕾分拣到指定位置。
...【技术特征摘要】
1.一种基于深度学习的密集堆叠花蕾分拣方法，其特征在于：包括以下步骤：
2.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤s01中，具体提方法为：使用相机拍摄多张棋盘格标定板的rgb-d图像，然后利用标定图像对相机坐标系和机械臂坐标系进行手眼标定，通过抓取和拍照位姿关系，计算并保存物体与机械臂坐标系之间的相对位姿，完成示教。
3.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤s03的具体方法包括以下步骤：
4.如权利要求3所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤s31中，图像预处理的方法为：先对采集到的图像进行自适应直方图均衡化，获得更多的图像细节信息，然后对图像进行加权平均灰度化处理，加权平均法的定义如下：
5.如权利要求1所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤s04的具体方法为：
6.如权利要求5所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：在步骤s43中，具体方法为：由平面质点系质心计算方法可计算出等效质点系的质心二维坐标c(u,v)，具体如下：
7.如权利要求5所述的基于深度学习的密集堆叠花蕾分拣方法，其特征在于：所述步骤s44的具体方法为：在所采集到的点云深度图...
【专利技术属性】
技术研发人员：朱晓春，江明理，江俊夫，江俊伟，胡彬，
申请(专利权)人：江苏六朝十代食品有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。