【技术实现步骤摘要】
本专利技术涉及采摘识别，尤其涉及一种绿芦笋采摘识别方法。
技术介绍
1、绿芦笋采摘是劳动密集型农业，人工劳动强度大，且成本高，因此亟需自动化的采摘机器人缓解这个矛盾。但由于绿芦笋的生长方位不确定、成熟时间不一致，需要进行选择性采收，绿芦笋的成熟度主要判断依据是长度，因此需要一种可靠的方法测量绿芦笋的长度。
2、随着机器视觉技术的不断发展，基于图像的定位判别方法成为果蔬自动化采摘的重点研究方向，而深度学习的研究成果将图像处理方式提升到一个新的高度，通过深度学习算法，可以较好依靠图像中农作物的特征、纹理、颜色等实现识别和区分，因此非常适合作为农作物形态参数测量计算的前处理方法。
3、为了准确获取待识别目标的实际位置和三维信息，通常需要配合深度相机同时采集待采区域的深度信息或三维点云，然而由于绿芦笋的直径较细或是受户外光线的影响，深度相机采集的绿芦笋三维点云不完整，从而影响计算绿芦笋的长度及采摘时间。
技术实现思路
1、本专利技术所解决的技术问题在于提供一种绿芦笋采摘识别方法，以解决上述
技术介绍
中的问题。
2、本专利技术所解决的技术问题采用以下技术方案来实现：
3、一种绿芦笋采摘识别方法，具体步骤如下：
4、1）训练绿芦笋实例分割模型
5、i、采集绿芦笋图像数据，拍摄的绿芦笋田间图像数据为rgb彩色图像，图像分辨率为2208×1242像素，相机拍摄位置在绿芦笋种植方向的侧面，距离地面450mm，距离被拍摄绿芦笋400
6、ii、使用labelme标注软件，对步骤i中采集的绿芦笋图像进行标注制作图像数据集，使用多边形标签对绿芦笋图像中的每一棵绿芦笋标注，每个标签为一棵芦笋的边缘轮廓，图像数据集包括多张二维图像；
7、iii、基于预训练的yolo-v9实例分割模型，结合图像数据集训练得到绿芦笋实例分割模型；
8、2）绿芦笋长度测量与定位
9、绿芦笋采摘环境应具备良好的光照条件，具体实施步骤如下：
10、步骤1：采摘机器人到达位置，通过安装在采摘机器人上的双目深度相机采集当前区域的彩色图像和三维点云；而后将采集的绿芦笋实时图像输入至步骤1）训练完成的绿芦笋实例分割模型中；当绿芦笋实例分割模型检测到一个或多个绿芦笋时，获取绿芦笋检测框坐标（ x i , y i , a i , b i），其中，（ x i , y i）为绿芦笋检测框左上角像素坐标， a i为绿芦笋检测框宽度（x方向）， b i为绿芦笋检测框的高度（y方向）；同时获取绿芦笋的原始掩膜图像；
11、步骤2：绿芦笋实例分割模型根据绿芦笋检测框位置裁剪绿芦笋的原始掩膜图像，得到单个绿芦笋原始二值图；
12、步骤3：对步骤2获得的单个绿芦笋原始二值图进行形态学处理，以消除芦笋形态噪声，得到绿芦笋形态轮廓；
13、步骤4：在步骤3获得的绿芦笋形态轮廓上提取芦笋形态骨骼，并根据芦笋形态骨骼像素坐标进行多项式拟合，以减少多余的像素平滑化绿芦笋形态骨骼，得到绿芦笋中心线及绿芦笋中心线的拟合多项式 y( x)；
14、步骤5：根据绿芦笋中心线的像素坐标计算绿芦笋中心线的像素长度（ lpixel），再根据绿芦笋中心线和绿芦笋形态轮廓计算绿芦笋的平均像素直径（ wa）；
15、步骤6：动态计算比例因子，即以绿芦笋中心线和绿芦笋平均像素直径为约束，在绿芦笋形态轮廓上确定多个局部关键测量点( xpixel, ypixel)和用于测量的圆周，且局部关键测量点（ xpixel, ypixel）包括基准测量点 o和圆周上各个测量点（ m1 ~mk），并映射局部关键测量点( xpixel, ypixel)对应位置的三维点云( xreal, yreal, zreal)，再计算圆周上各个测量点（ m1 ~mk）到基准测量点 o像素距离（ lk）和空间距离（ d k）的比例，取计算所得比例的平均值即得到比例因子（ kr）；
16、步骤7：通过比例因子计算绿芦笋长度和采摘点，从而实现对绿芦笋采摘识别。
17、进一步地，步骤1中，双目深度相机为zed2双目相机。
18、进一步地，步骤2中，绿芦笋实例分割模型分割绿芦笋的原始掩膜图像，具体为：将绿芦笋的原始掩膜图像识别为两个类别，彩色图像中的绿芦笋所在的像素分割为芦笋类别，其余背景所在像素分割为背景类别；单个绿芦笋原始二值图是绿芦笋实例分割模型裁剪绿芦笋的原始掩膜图像分割出的掩膜，将芦笋类别区域设置为白色像素区域，背景类别设置为黑色像素区域。
19、进一步地，步骤3中，对单个绿芦笋原始二值图进行形态学处理具体步骤如下：
20、步骤3.1：填充空洞，将被白色像素包围的黑色像素填充为白色像素；
21、步骤3.2：去除小的连通域，将像素数小于最小限制面积 amin的连通域删除（置为黑色像素），最小限制面积 amin由主体芦笋的连通域面积 amax决定，如公式 （1） 所示：
22、 （1）
23、以去除可能出现的分割错误区域或者周边其他非主体芦笋的影响；
24、步骤3.3：使用一个圆盘形结构元素对单个绿芦笋原始二值图进行形态学开运算，消除图像边缘的噪声，而后再用一个菱形结构元素进行开运算，使绿芦笋边缘更加平整；圆盘形结构元素的半径 r 本文档来自技高网...
【技术保护点】
1. 一种绿芦笋采摘识别方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤1）中，使用多边形标签对绿芦笋图像中的每一棵绿芦笋标注，每个标签为一棵芦笋的边缘轮廓，图像数据集包括多张二维图像。
3.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，绿芦笋实例分割模型分割绿芦笋的原始掩膜图像，具体为：将绿芦笋的原始掩膜图像识别为两个类别，彩色图像中的绿芦笋所在的像素分割为芦笋类别，其余背景所在像素分割为背景类别。
4.根据权利要求1或3所述的一种绿芦笋采摘识别方法，其特征在于，单个绿芦笋原始二值图是绿芦笋实例分割模型裁剪绿芦笋的原始掩膜图像分割出的掩膜，将芦笋类别区域设置为白色像素区域，背景类别设置为黑色像素区域。
5.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，对单个绿芦笋原始二值图进行形态学处理具体步骤如下：
6.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，获得绿芦笋中心线及绿芦笋中心线的拟合多项式y(x)的具
7.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，计算绿芦笋的像素长度和绿芦笋的平均像素直径，具体为：
8.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，动态计算比例因子具体步骤包括：
9.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，通过比例因子计算绿芦笋长度和采摘点，具体步骤包括：
...【技术特征摘要】
1. 一种绿芦笋采摘识别方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤1）中，使用多边形标签对绿芦笋图像中的每一棵绿芦笋标注，每个标签为一棵芦笋的边缘轮廓，图像数据集包括多张二维图像。
3.根据权利要求1所述的一种绿芦笋采摘识别方法，其特征在于，步骤2）中，绿芦笋实例分割模型分割绿芦笋的原始掩膜图像，具体为：将绿芦笋的原始掩膜图像识别为两个类别，彩色图像中的绿芦笋所在的像素分割为芦笋类别，其余背景所在像素分割为背景类别。
4.根据权利要求1或3所述的一种绿芦笋采摘识别方法，其特征在于，单个绿芦笋原始二值图是绿芦笋实例分割模型裁剪绿芦笋的原始掩膜图像分割出的掩膜，将芦笋类别区域设置为白色像素区域，背景类别...
【专利技术属性】
技术研发人员：薛龙，陈辰，杨梓，黄嘉保，程延节，黎静，刘木华，
申请(专利权)人：江西农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。