一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法技术

本发明专利技术一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，先采摘不同成熟期的蓝莓样本，同时采集每时期采摘前蓝莓果实的彩色图像信息，对每时期的蓝莓进行叶绿素测定，构建蓝莓叶绿素预测含量网络BCPN，并输入蓝莓图像，随后进行框标记和打标签得到叶绿素含量预测数据集，训练叶绿素含量模型并对输出的叶绿素含量与果实的成熟度进行映射，通过值与值之间的映射之后，通过最终的预测结果映射值判断当前映射值所处的成熟度。本发明专利技术提供的基于深度卷积神经网络的蓝莓成熟度的无损检测方法，对蓝莓皮叶绿素的预测准确率达96％以上，对不同品种的蓝莓果实成熟度的无损检测有很好的通用性，精度高，提高果实成熟度检测的准确性和效率。

A nondestructive detection method of blueberry maturity based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
本专利技术属于领域，具体涉及一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法。
技术介绍
随着人们生活水平的提高，蓝莓以其独特的风味和强大的营养保健功能吸引着越来越多的消费者。然而蓝莓果实小而软，颜色深，个体间差异不大，人工采摘不仅浪费了大量的人力、物力和财力，而且在高温、潮湿的环境下，采摘效率较低。另外，蓝莓果实成熟度分级时，人工凭肉眼分类误差较大，不能保证产品质量的稳定性，不利于产品的真正提档。果实无损检测方法是用光学、化学、声学、电学、物理、图像和视觉等方法检测水果的表面和内在质量，而不破坏被检测物体的方法，主要包括近红外光谱、声振动、电特性、计算机视觉等技术。与其他无损检测技术相比，计算机视觉技术利用算法与被测果实的品质指标建立相关性模型，从而对其品质等级进行分类，具有快速、准确、绿色、安全、可靠的显著特点。水果的颜色是消费者用来判断水果成熟度的最初质量评估，而水果表面的颜色变化主要是由果皮中不同的色素含量引起的。在许多水果中，由于叶绿素降解和类胡萝卜素或多酚等色素含量的增加，在成熟过程中会发生颜色变化。但目前有关机器视觉无损检测的研究多采用传统的计算机视觉技术，有关新的计算机视觉技术—深度学习的研究很少涉及，且在深度神经网络的基础上通过果皮中叶绿素变化对蓝莓果实的成熟度进行无损检测的研究几乎没有。因此，开发快速、高效、无损、廉价的基于深度学习的蓝莓果实成熟度检测新方法是非常必要的，这将有助于提高收获蓝莓的质量，同时也为蓝莓采摘机器人的研制提供理论依据。
技术实现思路
针对上述现有技术的不足，本专利技术提供一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，利用计算机视觉技术以及深度学习技术对蓝莓果皮叶绿素进行预测，通过蓝莓皮叶绿素含量的下降来预测蓝莓果实的成熟度。为了实现技术目的，本专利技术通过如下技术方案来实现：一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，包括以下步骤：(1)采样并采集蓝莓果实的图像：挑选大小、成熟度相对一致、无病虫害、无机械伤的蓝莓果实，具体操作如下：从蓝莓果实盛花期10d后开始采样，每隔10d取样1次(即蓝莓果实着色期至完全成熟期)，同时采集每时期采摘前蓝莓果实的彩色图像信息，备用；(2)测定蓝莓果皮中的叶绿素含量：蓝莓果皮中叶绿素的测定采用分光光度法,采用现有技术即可测定，在此不做赘述，每时期重复3次，求平均值，尽量降低同时期蓝莓果实间的误差，用测量的平均值分别标记相应时期蓝莓果实的彩色图片；(3)图像预处理：将步骤(1)拍摄的图片的分辨率调整为1000*500的最终分辨率，作为训练样本，输入蓝莓叶绿素预测含量网络BCPN，所述网络主要包含特征提取模块、特征预测模块、特征与叶绿素以及边界框关联模块，通过将叶绿素含量预测数据集中图片数据以及标签数据输入到网络中，图片输入采用去平均的方法，即首先计算整个数据集中蓝莓图片的平均值数据，将输入图片统一减去平均值数据，作为最终输入，从而减少输入蓝莓图像数据在拍摄过程中因相机问题以及人为原因导致的噪声；(4)构建叶绿素含量预测数据集BCPD：利用Label-Image脚本对步骤(3)中处理好的图片进行框标记，然后用测量的每个时期叶绿素的平均值分别对相应时期的图片进行打标签，在蓝莓叶绿素预测含量网络BCPN中构建叶绿素含量预测数据集BCPD，并且将叶绿素含量预测数据集分成训练数据集和测试数据集两部分；(5)训练叶绿素含量预测网络模型：将人工标记边界框以及叶绿素含量作为蓝莓图像标记信息输入到蓝莓叶绿素预测含量网络BCPN中，首先通过Mobile网络Mobilenet进行训练和特征提取，由区域推荐网络层RPN生成相应的蓝莓边界框，随后将边界框的相关信息映射到原始图像的特征图上，通过新提出的感兴趣区域对齐层ROIAlign将映射后的蓝莓特征转化为高维特征向量，生成的高维向量可以作为预测叶绿素含量的特征信息；为减少RPN层生成边界框的数量，缩小边界框检测误差，通过非最大值抑制的方式减少最终生成边界框数目，并通过框回归损失函数Lboxes(u,v)＝smoothL1(ui-vj)计算得到：其中，x,y分别为左上角坐标，w和h分别为宽和高，对预测框结果进行补充以进行最终预测。利用预测回归框(u)和人工标记边界框(v)计算框误差损失,并将预测的叶绿素含量与人工标记的叶绿素含量信息进行比较，得到预测的叶绿素含量损失Lpig(p,t)＝-logPt，其中P为预测输出，t为人工标记叶绿素含量，最终利用最小化损失函数值Lfinal(p,u,t,v)＝Lboxes(u,v)+Lpig(p,t)反向传播来调整网络参数得到训练整个网络的目的；在训练数据集训练数据上经过40000次微调迭代后，网络充分的拟合蓝莓的特征，即训练和测试的损失值和精度值趋于稳定为止，并且经过外部验证后精确度达到96％以上；(6)测试叶绿素含量预测网络模型：为检测训练好的叶绿素预测模型精确度，首先将去均值的蓝莓图片测试数据集输入到蓝莓叶绿素预测含量网络BCPN，通过特征提取以及特征预测模块之后，得到蓝莓预测边界框以及叶绿素浓度预测值，将叶绿素含量预测网络模型输出的叶绿素含量与果实的成熟度进行映射，通过值与值之间的映射之后，能够通过最终的预测结果映射值，判断当前映射值所处的成熟度。与现有技术相比，本专利技术的有益效果为：本专利技术公开了一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，先采摘不同成熟期的蓝莓样本，同时采集每时期采摘前蓝莓果实的彩色图像信息，对每时期的蓝莓进行叶绿素测定，构建蓝莓叶绿素预测含量网络BCPN并输入蓝莓图像，随后进行框标记和打标签得到叶绿素含量预测数据集，训练叶绿素含量模型并对输出的叶绿素含量与果实的成熟度进行映射，通过值与值之间的映射之后，通过最终的预测结果映射值判断当前映射值所处的成熟度。本专利技术一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，能够对蓝莓果实的成熟度进行快速无损检测，采集了七种不同成熟期的蓝莓果实，并测定了蓝莓果皮的叶绿素含量，建立蓝莓叶绿素预测含量网络，通过训练好的叶绿素含量模型对输出的叶绿素含量与果实的成熟度进行映射，判断当前映射值所处的成熟度，对蓝莓皮叶绿素的预测准确率可达96％以上，对不同品种的蓝莓果实成熟度的无损检测具有很好的通用性，分类精度高，提高蓝莓果实成熟度检测的准确性和效率。附图说明图1是本专利技术的蓝莓叶绿素预测网络BCPN的结构图；图2是本专利技术的蓝莓在不同成熟时期的预测折线图。具体实施方式下面结合附图对技术方案的实施作进一步详细描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。名词解释：BCPD：叶绿素含量预测数据集；BCPN：蓝莓叶绿素预测含量网络；Mobilenet：Mobile网络；RPN：区域推荐网络；ROIAlignLayer：感兴趣区域对齐本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，其特征在于，包括以下步骤：/n(1)采摘从蓝莓果实着色期至完全成熟期的蓝莓样本，取样N次，同时采集每时期采摘前蓝莓果实的彩色图像信息，备用；/n(2)测定步骤(1)中采摘的每时期的蓝莓果皮中的叶绿素含量并记录；/n(3)图像预处理：调整步骤(1)拍摄的图片的分辨率，作为训练样本，输入蓝莓叶绿素预测含量网络中，在图像的训练和测试过程中，采用去平均方法对输入蓝莓叶绿素预测网络的图像数据进行处理；/n(4)构建叶绿素含量预测数据集：利用Label-Image脚本对步骤(3)中处理好的图片进行框标记，然后用测量的每个时期的叶绿素值分别对相应时期的图片进行打标签，构建叶绿素含量预测数据集，并且将叶绿素含量预测数据集分成训练数据集和测试数据集两部分；/n(5)训练、测试叶绿素含量预测模型：将边界框作为标记信息输入到蓝莓叶绿素预测含量网络中，进行蓝莓特征提取，在生成的特征基础上生成相应的蓝莓边界框，随后将边界框的相关信息映射到原始图像的特征图上，将映射后的蓝莓特征转化为高维特征向量，生成的高维向量可以作为预测叶绿素含量的特征信息，将训练好的叶绿素含量预测模型对输出的叶绿素含量与果实的成熟度进行映射，通过值与值之间的映射之后，能够通过最终的预测结果映射值，判断当前映射值所处的成熟度。/n...

【技术特征摘要】
1.一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，其特征在于，包括以下步骤：
(1)采摘从蓝莓果实着色期至完全成熟期的蓝莓样本，取样N次，同时采集每时期采摘前蓝莓果实的彩色图像信息，备用；
(2)测定步骤(1)中采摘的每时期的蓝莓果皮中的叶绿素含量并记录；
(3)图像预处理：调整步骤(1)拍摄的图片的分辨率，作为训练样本，输入蓝莓叶绿素预测含量网络中，在图像的训练和测试过程中，采用去平均方法对输入蓝莓叶绿素预测网络的图像数据进行处理；
(4)构建叶绿素含量预测数据集：利用Label-Image脚本对步骤(3)中处理好的图片进行框标记，然后用测量的每个时期的叶绿素值分别对相应时期的图片进行打标签，构建叶绿素含量预测数据集，并且将叶绿素含量预测数据集分成训练数据集和测试数据集两部分；
(5)训练、测试叶绿素含量预测模型：将边界框作为标记信息输入到蓝莓叶绿素预测含量网络中，进行蓝莓特征提取，在生成的特征基础上生成相应的蓝莓边界框，随后将边界框的相关信息映射到原始图像的特征图上，将映射后的蓝莓特征转化为高维特征向量，生成的高维向量可以作为预测叶绿素含量的特征信息，将训练好的叶绿素含量预测模型对输出的叶绿素含量与果实的成熟度进行映射，通过值与值之间的映射之后，能够通过最终的预测结果映射值，判断当前映射值所处的成熟度。


2.根据权利要求1所述的一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法，其特征在于，步骤(1)中，挑选大小、成熟度相对一致、无病虫害、无机械伤的蓝莓果实...

【专利技术属性】
技术研发人员：王波，牟昌红，袁泽斌，欧阳秀琴，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32