【技术实现步骤摘要】
本专利技术属于农业智能检测，涉及人工智能识别、机器视觉以及图像处理，特别是一种基于深度学习目标检测算法和关键点检测算法的茶叶嫩梢采摘部位精准定位方法。
技术介绍
1、中国是茶叶生产大国，其中名优茶作为茶叶产业价值的绝对担当。茶产业属于劳动密集型产业，季节性强，劳动强度大，茶叶的采摘是茶叶生产中最耗时且费力的一个环节。目前国内外采茶机主要采用往复切割的方式，属于无差别采摘方法，存在茶叶芽叶完整率低、齐整度差、后续加工品质难以控制等问题，主要用于对外形要求不高的大宗茶等的采摘。而名优茶的采摘不能采用普通切割、拽拉式机器人采摘，因此名优茶的采摘依然依赖于大量的劳动力，人工采茶劳动强度大、效率低与名优茶采摘具有较强的实效性相冲突，名优茶的智能采摘成为了研究热点，针对名优茶嫩梢识别和采摘点定位的研究也因此得到了快速的发展。
2、茶园环境复杂，茶树密集生长，茶叶嫩梢生长千姿百态，并相互遮挡；茶叶嫩梢和周围的叶子在颜色形状和纹理方面的区分度不是特别大；而且嫩梢质量小，极易受风吹和机械移动而摆动。这些因素都使得茶叶嫩梢的识别和采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。
3、专利文献cn111784764a公开了一种茶叶嫩芽识别与定位算法，将嫩芽样本喂入采摘点识别模型，并进行训练，直至单个嫩芽采摘点的识别满足识别要求。但由于茶叶嫩芽采摘点特征不明显，直接训练采摘点，很难达到理想的结果，定位精度不高。
4、专利文献cn114882222a公开了一种通过改进的yolov5目标检测模型，输出茶叶嫩芽的目
5、专利文献cn113901874a公开了一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，采用旋转检测框，对倾斜框的坐标表示形式转化判断出倾斜框的下短边，计算下短边中点，作为茶叶嫩芽采摘点。该方法直接粗略的将检测框的中点作为采摘点，首先检测框有误差，而所述中点作为采摘点本就是粗略估计，如此一来，更是误差叠加，只能得到一个更粗略的采摘点。
6、综上，目前的茶叶嫩梢采摘点的定位方法定位精度低、效率低，而且无法平衡精度和速度方面的需求，为实现茶叶嫩梢采摘点的快速精准识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点快速精准识别定位方法。
技术实现思路
1、本专利技术的目的在于针对上述现有技术存在的问题，提供一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，该方法能够精准的给出茶叶嫩梢采摘部位，以实现茶叶嫩梢完整采摘并且最大程度实现无杂叶和老叶的采摘。
2、实现本专利技术目的的技术解决方案为：一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，所述方法包括以下步骤：
3、步骤1，采集大量茶叶嫩梢图像，包括rgb图像和深度图像；
4、步骤2，依据角点、颜色渐变、纹理特点综合选取特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集；
5、步骤3，搭建关键点检测网络模型，并利用所述茶叶嫩梢关键点检测数据集对关键点检测网络模型进行训练；
6、步骤4，将待检测的茶叶嫩梢图像输入训练后的关键点检测网络模型，得到茶叶嫩梢检测框和茶叶嫩梢的关键点位置；
7、步骤5，对步骤4得到的茶叶嫩梢检测框进行裁剪得到茶叶嫩梢图，之后采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点；
8、步骤6，根据茶叶生长特点和茶叶采摘需求，结合步骤4得到的关键点和步骤5得到的轮廓最低点求取茶叶嫩梢采摘点位置。
9、进一步地，步骤1还包括：
10、对茶叶嫩梢图像进行数据增广，增广方式包括对：旋转，翻转，平移，随机裁剪，缩放，加噪声，平滑模糊图像，颜色空间变换，随机擦除法，图像增强。
11、进一步地，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：
12、步骤2-1，利用cocoannotator对茶叶嫩梢图像分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，整体目标检测标签类别为‘nenya’，依据角点、颜色渐变、纹理特点综合选取特征进行关键点数据标注，关键点检测类别标签包括p1、p2、p3，分别对应单芽关键点、一芽一叶关键点和一芽两叶关键点，得到coco格式的茶叶嫩梢关键点检测数据集；
13、步骤2-2，将所述茶叶嫩梢关键点检测数据集按照8：1：1比例划分为训练集，验证集和测试集。
14、进一步地，步骤3中搭建关键点检测网络模型，具体基于yolov8算法进行改进，搭建关键点检测网络模型，具体包括：
15、(1)在输入模块，采用改进的mosaic数据增强方法，先进行mosaic操作拼接图像，然后再对图像进行数据增强操作；
16、(2)将yolov8主干特征提取网络cspdarknet53中的resnet单元替换为密集连接模块densenet单元；
17、模型采用“denseblock+transition”的结构，所述“denseblock”为包含很多网络层的模块，包括bn-relu-conv(1×1)-bn-relu-conv(3×3)，其中：bn表示批处理归一化层，conv表示卷积层，relu表示线性整流函数；一个densenet单元包括多个denseblock，各个层的特征图大小一致，层与层之间采用密集连接的方式；所述“transition”结构是连接相邻denseblock的过渡层，包括bn-conv(1×1)-avgpooling(2×2)，用于降低特征图的大小，完成前后denseblock模块的连接；
18、在densenet中，连接前面所有层作为输入，得到的输出为:
19、xi＝hi([x0,xl,…xl-1])])
20、其中，xi表示输出；hi(·)代表非线性转换函数，l为当前层；[x0,x1,…,xl-1]表示将之前所有的特征图以通道的维度进行合并；
21、(3)在yolov8的cspdarknet53网络基础上将残差块cspx中的残差单元resunit替换为密集连接单元denseunit，并将其定义为den-cspx；
22、(4)在特征提取模块中，引入注意力机制cabm；
23、(5)采用改进的加权nms即改进的非极大值抑制方法，对检测框的置信度进行惩罚衰减。
24、进一步地，所述改进的加权nms为高斯加权nms，具体过程包括：
25、步骤3-1，对回归产生的n个预选框按置信度大小进行排序；
26、步骤3-2，选择当前置信度最大的预选框，计算其与其他预选框之间的i本文档来自技高网...
【技术保护点】
1.一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤1还包括：
3.根据权利要求1或2所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：
4.根据权利要求3所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤3中搭建关键点检测网络模型，具体基于YOLOv8算法进行改进，搭建关键点检测网络模型，具体包括：
5.根据权利要求4所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，所述改进的加权NMS为高斯加权NMS，具体过程包括：
6.根据权利要求1所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤5中在采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割之前，还包括：对裁剪后的茶叶嫩梢图进行中值滤波。
7.根据权
8.根据权利要求3所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤6具体包括：
9.根据权利要求8所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，上述求取采摘点的具体公式为：
...【技术特征摘要】
1.一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤1还包括：
3.根据权利要求1或2所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：
4.根据权利要求3所述的基于多信息融合的茶叶嫩梢采摘部位精准识别方法，其特征在于，步骤3中搭建关键点检测网络模型，具体基于yolov8算法进行改进，搭建关键点检测网络模型，具体包括：
5.根据权利要求4所述的基于多信息融合的茶叶嫩梢采摘部位精准识...
【专利技术属性】
技术研发人员：郭健，王晓燕，蔡云飞，陈欢，张旭东，陈舒琳，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。