【技术实现步骤摘要】
本专利技术涉及实例分割方法的，特别涉及基于deeplabv3+网络的实例分割方法的。
技术介绍
1、目前，柑橘采摘工作主要依靠人力进行，采摘成本高昂，工作前景不佳，同时，由于柑橘种植地环境复杂、目标物体重叠较多、尺寸大小不一等特点，依靠图像识别技术的自动化采摘难度也较多。
2、为克服以上问题，一种较好的技术手段是在依靠图像识别的自动化采摘中，先对获取到的图像进行精准的实例分割，将待识别的柑橘目标自图像中分类出来。但现有技术中的实例分割模型具有较多的局限性，难以直接应用于柑橘类果实的实地实例分割中。
3、如中国专利申请cn202310281424.9公开了一种基于改进deeplabv3+模型的番茄叶片虫害区域分割方法，其对deeplabv3+模型的主干网络进行了替换改进，实现了对番茄叶片的病虫害的准确分割，但该方法使用的语义分割模型无法直接应用于番茄果实的实例分割上；中国专利申请cn202310581519.2公开了一种基于深度学习的柑橘木虱智能检测方法及装置，其通过yolov5-s网络模型对柑橘木虱实现了智能检测，但该方法使用的语义分割模型无法直接应用于不同环境下柑橘果实的实例分割上。
技术实现思路
1、针对现有技术的缺陷，本专利技术的目的在于提出一种基于改进的deeplabv3+网络的柑橘实例分割方法及系统，所述实例分割方法能够有效提升复杂环境下如柑橘等果实的分割精度，进而提升复杂环境下柑橘等果实的识别准确性，且相对于现有的语义分割方法，其可显著地提升目标
2、本专利技术的技术方案如下：
3、基于改进的deeplabv3+网络的柑橘实例分割方法，其包括：
4、基于改进的deeplabv3+网络构建柑橘实例分割模型，通过训练集对所述柑橘实例分割模型进行训练，得到训练后的柑橘实例分割模型；
5、其中，所述柑橘实例分割模型包括：
6、由deeplabv3+网络形成的语义分割模块和与所述语义分割模块相连的、由改进的mask r-cnn网络形成的实例分割模块；
7、其中，所述改进的mask r-cnn网络包括：
8、由restnet形成的主干网络，与所述主干网络依次相连的rpn网络及fcn网络，其中，所述rpn网络为包括一个树干、两个树枝的树状结构，其树干为3×3卷积层，两个树枝分别为1×1卷积层；所述fcn网络包括编码器和解码器，其中，所述编码器为将最后一个池化层替换为步长为1的卷积层的预训练的卷积神经网络，所述解码器为通过上采样操作将输入该解码器的特征图恢复为输入编码器中的原始图像的尺寸的卷积神经网络。
9、根据本专利技术的一些优选实施方式，通过所述实例分割模型进行的实例分割处理包括：
10、将待进行实例分割的图像输入作为所述语义分割模块的所述deeplabv3+网络中，得到输出的语义分割图像；
11、所述语义分割图像进入所述实例分割模块后，由其主干网络进行特征提取，由所述rpn网络对提取到的特征进行特征融合，并调整预选框与区域阈值，再由所述fcn网络作为分割头对特征融合后得到的融合图像进行实例分割处理，得到实例分割图像。
12、根据本专利技术的一些优选实施方式，所述训练包括：设置模型初始参数，包括图像输入尺寸、动量参数、权重衰减正则项参数、图像角度变化参数、图像饱和度与曝光变化参数、图像色调变化参数、初始学习率以及训练迭代次数；调整初始参数中的动量参数、权重衰减正则项参数、初始学习率以及训练迭代次数，至训练结果达到相对稳定，得到所述训练后的柑橘实例分割模型。
13、根据本专利技术的一些优选实施方式，所述柑橘实例分割方法还包括：通过测试集对所述训练后的柑橘实例分割模型进行测试和调整，并通过评价指标确定所述训练后的柑橘实例分割模型的检测性能，以检测性能最佳的训练后的柑橘实例分割模型作为最终的训练好的柑橘实例分割模型；其中，所述评价指标为全类平均正确率map。
14、根据本专利技术的一些优选实施方式，所述柑橘实例分割方法具体包括：
15、s1获得由若干柑橘图像组成的柑橘图像集，并对其中的柑橘图像进行基于语义分割的数据标注，得到标注数据集；
16、s2将所述标注数据集按比例随机划分为训练集和测试集；
17、s3构建所述柑橘实例分割模型，通过所述训练集对所述柑橘实例分割模型进行训练，得到训练后的柑橘实例分割模型；
18、s4通过所述测试集对所述训练后的柑橘实例分割模型进行测试，测试中使用全类平均正确率map作为评价指标对训练后的柑橘实例分割模型进行检测性能评价和参数调整，以可获得最高map值的训练后的柑橘实例分割模型作为最终的训练好的柑橘实例分割模型；
19、s5通过所述训练好的柑橘实例分割模型对柑橘进行实例分割。
20、根据本专利技术的一些优选实施方式，s1中所述柑橘图像通过实地拍摄、图像收集、视频采集方式中的一种或多种得到。
21、根据本专利技术的一些优选实施方式，所述基于语义分割的数据标注通过标注工具labelme实现。
22、本专利技术进一步提供了一种实现实现上述柑橘实例分割方法的分割系统，其包括：存储或存储并预处理柑橘图像的图像处理模块、存储所述柑橘实例分割模型并对图像处理模块获得的柑橘图像进行实例分割处理的分割模块及将分割模块得到的分割结果进行显示输出的输出模块。
23、本专利技术具备以下有益效果：
24、本专利技术的实例分割方法中采用了基于改进的deeplabv3+网络的柑橘实例分割模型，该模型在原有的deeplabv3+网络的基础上，引入了实例分割头部，可对同一类别的不同实例进行精准区分。
25、本专利技术的柑橘实例分割模型中特殊设计了一种适用于柑橘单一目标实例分割的改进的mask r-cnn网络，相对于传统的只使用局部信息进行目标分割的maskr-cnn网络，该改进的maskr-cnn网络可引入更多的上下文信息，显著提高了分割的准确性和鲁棒性。
26、本专利技术能有效提升复杂环境下柑橘的分割精度，进而提高复杂环境下柑橘的识别准确性，且相对于现有的语义分割方法，在显著提升目标分割精度的同时，可获得边缘更加细化的分割图像。
本文档来自技高网...【技术保护点】
1.基于改进的DeepLabv3+网络的柑橘实例分割方法，其特征在于，其包括：
2.根据权利要求1所述的柑橘实例分割方法，其特征在于，通过所述实例分割模型进行的实例分割处理包括：
3.根据权利要求1所述的柑橘实例分割方法，其特征在于，所述训练包括：设置模型初始参数，包括图像输入尺寸、动量参数、权重衰减正则项参数、图像角度变化参数、图像饱和度与曝光变化参数、图像色调变化参数、初始学习率以及训练迭代次数；调整初始参数中的动量参数、权重衰减正则项参数、初始学习率以及训练迭代次数，至训练结果达到相对稳定，得到所述训练后的柑橘实例分割模型。
4.根据权利要求1所述的柑橘实例分割方法，其特征在于，其还包括：通过测试集对所述训练后的柑橘实例分割模型进行测试和调整，并通过评价指标确定所述训练后的柑橘实例分割模型的检测性能，以检测性能最佳的训练后的柑橘实例分割模型作为最终的训练好的柑橘实例分割模型；其中，所述评价指标为全类平均正确率mAP。
5.根据权利要求1所述的柑橘实例分割方法，其特征在于，其具体包括：
6.根据权利要求5所述的柑橘实
7.实现权利要求1-6中任一项所述的柑橘实例分割方法的分割系统，其特征在于，其包括：存储或存储并预处理柑橘图像的图像处理模块、存储所述柑橘实例分割模型并对图像处理模块获得的柑橘图像进行实例分割处理的分割模块及将分割模块得到的分割结果进行显示输出的输出模块。
...【技术特征摘要】
1.基于改进的deeplabv3+网络的柑橘实例分割方法，其特征在于，其包括：
2.根据权利要求1所述的柑橘实例分割方法，其特征在于，通过所述实例分割模型进行的实例分割处理包括：
3.根据权利要求1所述的柑橘实例分割方法，其特征在于，所述训练包括：设置模型初始参数，包括图像输入尺寸、动量参数、权重衰减正则项参数、图像角度变化参数、图像饱和度与曝光变化参数、图像色调变化参数、初始学习率以及训练迭代次数；调整初始参数中的动量参数、权重衰减正则项参数、初始学习率以及训练迭代次数，至训练结果达到相对稳定，得到所述训练后的柑橘实例分割模型。
4.根据权利要求1所述的柑橘实例分割方法，其特征在于，其还包括：通过测试集对所述训练后的柑橘实例分割...
【专利技术属性】
技术研发人员：张鹏超，张家俊，黄俊霖，王磊，
申请(专利权)人：陕西理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。