【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种果园幼果检测及生长角度预测方法及系统。
技术介绍
1、套袋技术是生产绿色、优质高档果蔬的一项重要技术，通过套袋能够有效减少果蔬鸟虫危害，防止农药污染、日灼风雨伤害和刮伤变形，改善果蔬色泽等；在优质果蔬种植生产过程中，套袋也是其中必不可少的环节，然而果蔬套袋如熟果采摘一样，都是一个时令性强、工作量巨大的工作，目前还主要靠人工或者人工配合简易机械来完成，耗时费力、劳动强度大，并且套袋质量参差不齐；再者农业劳动力老龄化和不足的问题在日益显著，手工套袋的人力价格逐年增长，由此也加大了相应的生产成本。鉴于以上情况，开展蔬果智能套袋机器人相关技术的研究已是大势所趋。
2、智能套袋机器人的研究虽然还处于初步阶段，但是智能化机械套袋逐步取代目前的人工套袋作业是必然的发展趋势。针对幼果套袋问题，袋子须从果底向上套入，为了避免机械手在套袋过程中对幼果果皮造成损伤，保证套袋的顺利进行，其首要任务是对目标识别以及获取生长姿态角度信息；然后套袋机器人才能以最佳方案完成不同生长姿态下的幼果进行套袋。其中，在幼果套袋过程中，如何在检测桃幼果的同时获得其对应的生长角度，是目前智能套袋机器人必须解决的问题。
3、郝伟杰等人的专利一种基于深度学习的苹果自动套袋的方法和系统，采用yolov4算法对苹果进行检测，进而获得苹果的位置信息，再配合机械臂进行自动套袋；虽然该方法能够对苹果进行套袋，但是存在一些不足：
4、1、仅获取苹果的中心位置信息，无法准确获取苹果的生长角度信息，导致套袋机器人旋转臂不
5、2、对yolov4模型改进，存在权重增大的问题；
6、3、yolov4上采样仅通过像素点的空间位置来决定上采样核，并没有利用到特征图的语义信息，是一种“均匀”的上采样，当感知域较小时，不能准确捕捉图像的全局特征。
技术实现思路
1、针对现有方法的不足，本专利技术利用半监督学习通过少量已标注数据和大量未标注数据，提高模型的泛化能力；利用改进yolov8n-seg网络提高幼果的识别率；以及解决现有方法套袋的精准性不足的问题。
2、本专利技术所采用的技术方案是：一种果园幼果检测及生长角度预测方法包括以下步骤：
3、步骤一、采集幼果图像数据，并对图像进行预处理；
4、作为本专利技术的一种优选实施方式，预处理包括：对比度增强、亮度增强、错切、翻转、旋转、加入高斯噪声和标注。
5、步骤二、将部分标注数据送入监督网络，通过设置信度阈值获取伪标签数据；
6、作为本专利技术的一种优选实施方式，监督网络包括：deeplab(resnet50)、unet、mask-rcnn、yolov5-seg、yolov7-seg和yolov8n-seg。
7、步骤三、yolov8n-seg网络的backbone采用mobilenetv3结构，利用conv_bn_hswish层对图像进行降维，并对backbone的十个bottleneck模块进行改进，通过优化卷积层的方式，减少网络参数的同时提升运算速度，使网络更专注于有用的通道信息，优化每个通道的权重。
8、作为本专利技术的一种优选实施方式，对bottleneck模块进行改进包括：在第一个bottleneck模块中，首先利用dw卷积提取特征，再引入bn归一化和h-swish激活函数和se注意力机制；最后使用1×1卷积层和bn归一化进行降维。
9、作为本专利技术的一种优选实施方式，对bottleneck模块进行改进还包括：在第二至第十个bottleneck模块中，首先使用1×1卷积、bn归一化和h-swish激活函数进行维度扩展，再进行dw卷积和bn归一化特征提取，并引入se注意力机制结合h-swish激活函数，以增强局部通道信息的捕获能力，再使用1×1卷积层和bn进行降维输出，降维输出再与输入特征进行残差连接。
10、步骤四、neck采用carafe上采样特征提取模块，增强图像全局特征提取能力；
11、步骤五、引入真实框与预测框之间的向量角，优化边界框损失；
12、作为本专利技术的一种优选实施方式，优化边界框损失包括：距离损失和角度损失。
13、步骤六、采用标注数据和伪标签数据对幼果检测模型进行训练，并利用对幼果图像进行生长角度估算。
14、作为本专利技术的一种优选实施方式，生长角度估算包括：
15、通过改进yolov8n-seg网络模型得到幼果目标区域坐标信息；
16、提取幼果轮廓坐标，并计算轮廓坐标上任意两点的直线距离，取直线距离最长的两个坐标为果轴的两端坐标，并计算果轴所在直线与水平线的夹角，得到幼果的生长角度。
17、作为本专利技术的一种优选实施方式，幼果的生长角度的公式为：
18、
19、其中，(xi,yi)和(xj,yj)为果轴两端坐标。
20、作为本专利技术的一种优选实施方式，果园幼果检测及生长角度预测系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现果园幼果检测及生长角度预测方法。
21、作为本专利技术的一种优选实施方式，存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现果园幼果检测及生长角度预测方法。
22、本专利技术的有益效果：
23、1、针对果园幼果生长角度估算问题，在获取幼果位置信息的同时，还获得生长角度信息，解决现有方法无法准确获得园幼果生长角度的问题；
24、2、针对现有实例分割中的人工成本高和工作量大问题，通过半监督学习和数据增强的方式，利用监督模型生成伪标签，并通过自训练方法优化模型，以减少对标记数据的依赖，降低数据标注的成本和工作量；
25、3、为了能够在移动端实现实时测效果，融合mobilenetv3网络的轻量化理念，显著降低了计算负担；
26、4、采用siou损失函数引入了真实框与预测框之间的向量角，在训练过程中使得预测框往真实框所在的方向进行调整，加快收敛速度；
27、5、采用carafe上采样特征提取模块，增强网络对果园幼果图像的全局特征提取能力；carafe上采样模块的核预测模块和内容感知重组模块共同工作，使得上采样过程能够更好地捕捉全局语义信息，并提高特征图的质量和精度。
本文档来自技高网...【技术保护点】
1.一种果园幼果检测及生长角度预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，对Bottleneck模块进行改进包括：在第一个Bottleneck模块中，首先利用DW卷积提取特征，再引入BN归一化和h-swish激活函数和SE注意力机制；最后使用1×1卷积层和BN归一化进行降维。
3.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，对Bottleneck模块进行改进还包括：在第二至第十个Bottleneck模块中，首先使用1×1卷积、BN归一化和h-swish激活函数进行维度扩展，再进行DW卷积和BN归一化特征提取，并引入SE注意力机制结合h-swish激活函数，再使用1×1卷积层和BN进行降维输出，再与输入特征进行残差连接。
4.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，生长角度估算包括：
5.根据权利要求4所述的果园幼果检测及生长角度预测方法，其特征在于，幼果的生长角度的公式为：
6.根据权利要求1所述的果园幼果检测及生长
7.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，监督网络包括：Deeplab、unet、Mask-rcnn、YOLOv5-seg、YOLOv7-seg和YOLOv8n-seg。
8.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，优化边界框损失包括：距离损失和角度损失。
9.果园幼果检测及生长角度预测系统，其特征在于，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如权利要求1-8任一项所述的果园幼果检测及生长角度预测方法。
10.存储有计算机程序代码的计算机可读介质，其特征在于，计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的果园幼果检测及生长角度预测方法。
...【技术特征摘要】
1.一种果园幼果检测及生长角度预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，对bottleneck模块进行改进包括：在第一个bottleneck模块中，首先利用dw卷积提取特征，再引入bn归一化和h-swish激活函数和se注意力机制；最后使用1×1卷积层和bn归一化进行降维。
3.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，对bottleneck模块进行改进还包括：在第二至第十个bottleneck模块中，首先使用1×1卷积、bn归一化和h-swish激活函数进行维度扩展，再进行dw卷积和bn归一化特征提取，并引入se注意力机制结合h-swish激活函数，再使用1×1卷积层和bn进行降维输出，再与输入特征进行残差连接。
4.根据权利要求1所述的果园幼果检测及生长角度预测方法，其特征在于，生长角度估算包括：
5.根据权利要求4所述的果园幼果检测及生长角...
【专利技术属性】
技术研发人员：吕继东，牛亮亮，黄敬贤，吴臻，周鹏，徐黎明，韩颖，邹凌，顾玉宛，戎海龙，
申请(专利权)人：常州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。