基于轮廓的目标果实图像实例分割方法及系统技术方案

本发明专利技术属于图像处理领域，提供了一种基于轮廓的目标果实图像实例分割方法及系统。其中，该方法包括获取目标果实图像；提取目标果实图像的特征，并进行特征融合；将融合特征输入至第一目标检测网络，得到第一对角关键点坐标及一个候选框；将候选框中的图像输入至第二目标检测网络中，得到至少两个第二对角关键点坐标及相应候选框；基于第二对角关键点坐标及相应候选框构建出初始轮廓，将初始轮廓变形至目标边界，确定目标果实的最终轮廓，分割出目标果实图像中的所有目标果实的位置。

【技术实现步骤摘要】
基于轮廓的目标果实图像实例分割方法及系统
本专利技术属于图像处理领域，尤其涉及一种基于轮廓的目标果实图像实例分割方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。随着现代人工智能的兴起，现代农业技术水平有了很大的提升，特别是图像识别技术的兴起，给农业生产带来了巨大的利益。传统的手工劳作逐渐被取消了，取而代之的是机器人作业。如机器人采摘，机器人药物喷洒，机器人产量预估等方面。图像识别技术的进步为机器人采摘提供了强有力的技术支持，但是在现实的采摘环境下，仍然存在这识别不精准，速度慢，树叶遮挡等问题。尤其是果树上果实众多的时候，机器人的采摘效率会大大下降。为了提升机器人采摘的速度和精确度，研究人员已经提出了很多的解决办法，逐渐的提高了果实识别的速度和精确度。但是专利技术人发现，这些果实识别的方法往往是基于像素点进行分割，基于像素的分割方法计算量大，而且速度不够快，导致要占取许多的资源和内存，果实采摘的速度达不到现实目的的要求。
技术实现思路
为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于轮廓的目标果实图像实例分割方法及系统，其基于轮廓进行分割，计算量小，分割速度快而准确。为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一个方面提供一种基于轮廓的目标果实图像实例分割方法。一种基于轮廓的目标果实图像分割方法，其包括：获取目标果实图像；提取目标果实图像的特征，并进行特征融合；r>将融合特征输入至第一目标检测网络，得到第一对角关键点坐标及一个候选框；将候选框中的图像输入至第二目标检测网络中，得到至少两个第二对角关键点坐标及相应候选框；基于第二对角关键点坐标及相应候选框构建出初始轮廓，将初始轮廓变形至目标边界，确定目标果实的最终轮廓，分割出目标果实图像中的所有目标果实的位置。本专利技术的第二个方面提供一种基于轮廓的目标果实图像实例分割系统。一种基于轮廓的目标果实图像实例分割系统，其包括：图像获取模块，其用于获取目标果实图像；特征融合模块，其用于提取目标果实图像的特征，并进行特征融合；第一对角关键点检测模块，其用于将融合特征输入至第一目标检测网络，得到第一对角关键点坐标及一个候选框；第二对角关键点检测模块，其用于将候选框中的图像输入至第二目标检测网络中，得到至少两个第二对角关键点坐标及相应候选框；轮廓定位模块，其用于基于第二对角关键点坐标及相应候选框构建出初始轮廓，将初始轮廓变形至目标边界，确定目标果实的最终轮廓，分割出目标果实图像中的所有目标果实的位置。本专利技术的第三个方面提供一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于轮廓的目标果实图像实例分割方法中的步骤。本专利技术的第四个方面提供一种计算机设备。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于轮廓的目标果实图像实例分割方法中的步骤。与现有技术相比，本专利技术的有益效果是：本专利技术提供了一种基于轮廓的目标果实图像实例分割方法，其不同于传统的基于轮廓的snake算法，本专利技术引入循环卷积对轮廓进行特征学习；提出了一个两阶段的实例分割方法：第一步初始化轮廓，第二步轮廓变形，直至变形到目标的边界；本专利技术平衡了速度和精度的关系，摒弃了计算量复杂的像素分割方法，使用了基于轮廓的分割方法，提出了一个速度快、识别精准、鲁棒性强的实例分割模型，计算量小，分割速度快而准确。本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是本专利技术实施例的基于轮廓的目标果实图像实例分割方法流程图；图2是本专利技术实施例的在DeepSnake中应用循环卷积的迭代图；图3是本专利技术实施例的循环卷积网络的结构图；图4是本专利技术实施例的多组件检测的过程图；图5(a)是本专利技术实施例的夜间果实图像；图5(b)是本专利技术实施例的顺光果实图像；图5(c)是本专利技术实施例的远景果实图像；图5(d)是本专利技术实施例的夜阴天实图像；图5(e)是本专利技术实施例的夜遮挡重叠实图像；图5(f)是本专利技术实施例的雨天果实图像；图6(a)是本专利技术实施例的目标果实分割效果图一；图6(b)是本专利技术实施例的目标果实分割效果图二；图6(c)是本专利技术实施例的目标果实分割效果图三；图6(d)是本专利技术实施例的目标果实分割效果图四；图6(e)是本专利技术实施例的目标果实分割效果图五；图6(f)是本专利技术实施例的目标果实分割效果图六；具体实施方式下面结合附图与实施例对本专利技术作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一如图1所示，本实施例提供了一种基于轮廓的目标果实图像实例分割方法，其具体包括如下步骤：步骤S101：获取目标果实图像。在具体实施中，获取的目标果实图像可以为任意角度、时间段和天气的图像。而且在实际训练第一目标检测网络以及第二目标检测网络时，也是用设备采集目标果实(比如：苹果)的图像，在不同的角度、时间段和天气进行拍摄，丰富数据集，如图5(a)-图5(f)所示。并且用labelme软件进行标注，将标注完的果实制作成数据集。步骤S102：提取目标果实图像的特征，并进行特征融合。在提取目标果实图像的特征之前，将采集到的图像进行平滑、降噪等预处理，采用中值滤波消除孤立的噪声点，增强图像的有用信息，提高图像的清晰度，将图像处理成模型输入的格式。在本实施例中，网络的主干部分采用ResNet残差网络来提取图像的特征，能够有效避免因网络深度过深带来的梯度消失或梯度爆炸问题。为了解决目标的多尺度变化问题，在ResNet后接了FPN(FeaturePyramidNetwork，特征金字塔网络)来解决这个问题，能够大幅度的提升物体的检测性能。FPN，特征金字塔网络的每层都是独立预测的，顶层特征通过上采样和底层特征做融合。步骤S103：将融合特征输入至第一目标检测网络，本文档来自技高网...

【技术保护点】
1.一种基于轮廓的目标果实图像实例分割方法，其特征在于，包括：/n获取目标果实图像；/n提取目标果实图像的特征，并进行特征融合；/n将融合特征输入至第一目标检测网络，得到第一对角关键点坐标及一个候选框；/n将候选框中的图像输入至第二目标检测网络中，得到至少两个第二对角关键点坐标及相应候选框；/n基于第二对角关键点坐标及相应候选框构建出初始轮廓，将初始轮廓变形至目标边界，确定目标果实的最终轮廓，分割出目标果实图像中的所有目标果实的位置。/n

【技术特征摘要】
1.一种基于轮廓的目标果实图像实例分割方法，其特征在于，包括：
获取目标果实图像；
提取目标果实图像的特征，并进行特征融合；
将融合特征输入至第一目标检测网络，得到第一对角关键点坐标及一个候选框；
将候选框中的图像输入至第二目标检测网络中，得到至少两个第二对角关键点坐标及相应候选框；
基于第二对角关键点坐标及相应候选框构建出初始轮廓，将初始轮廓变形至目标边界，确定目标果实的最终轮廓，分割出目标果实图像中的所有目标果实的位置。


2.如权利要求1所述的基于轮廓的目标果实图像实例分割方法，其特征在于，提取获取图像的特征之前还包括，对获取的目标果实图像进行去噪及增强预处理。


3.如权利要求1所述的基于轮廓的目标果实图像实例分割方法，其特征在于，采用ResNet残差网络来提取获取图像的特征。


4.如权利要求1所述的基于轮廓的目标果实图像实例分割方法，其特征在于，采用特征金字塔网络进行特征融合。


5.如权利要求1所述的基于轮廓的目标果实图像实例分割方法，其特征在于，所述目标检测网络为CornerNet。


6.如权利要求1所述的基于轮廓的目标果实图像实例分割方法，其特征在于，所述初始轮廓为八边形轮廓，其构建过程为：
基于目标果实的第二对角关键点及其对应的候选框，分别在候选框的四条边上选取四个中点，依次连接这四个点得到一个菱形框；
基于DeepSnake算法及菱形框，得到每个顶点到目标极...

【专利技术属性】
技术研发人员：贾伟宽，魏金梦，张琦，孙美丽，赵艳娜，丁艳辉，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37