基于深度学习的红枣品质分选方法技术

本发明专利技术提供了一种基于深度学习的红枣品质分选方法，该方法包括：采集大量的不同品质的红枣样本，将样本分为四类丰满枣、干条枣、裂口枣和瑕疵枣，并将样本分为训练集和测试集。对采集的红枣样本图像进行预处理，通过对白色背景上面的红枣图像进行灰度化、二值化、中值滤波、ROI感兴趣区域提取等图像处理的操作，将在较大白色背景上面的红枣扣出，并且要将样本图像大小进行归一化。使用改进结构的网络对样本训练集进行训练得到模型，利用训练生成模型对测试样本图像进行分类。相比于目前的红枣品质分选技术，本发明专利技术提高了红枣分选的准确性和速度，成功解决了红枣人工分拣效率低、准确率低、消耗过多的人力资源等问题。

【技术实现步骤摘要】
基于深度学习的红枣品质分选方法
本专利技术涉及一种基于深度的学习技术的红枣品质分类方法，该方法包含了机器视觉技术、基本的图形图像处理技术、以及深度学习和卷积神经网络，通过对红枣特征的提取，准确的对红枣品质进行分类。
技术介绍
中国是枣的原产国，也是世界上最大的枣生产国和唯一出口国，拥有全世界95％以上的枣树资源，在世界红枣行业中占据领导地位。红枣是我国加入世贸组织后最具竞争力的农产品。近些年，我国红枣产量保持总体增长，2015年产达到913.5万吨。红枣品质分拣是红枣贮藏、加工及流通等的一个关键技术环节，直接影响果农的经济效益。目前中国的红枣分拣方法主要分为人工拣选和机械筛选两大类。人工拣选红枣品质存在劳动强度大、效率低、成本高、分选精度和卫生质量难以保证等弊端。红枣机械筛选，目前市场上面红枣的机械筛选存在的问题是智能化程度不高，准确率较低，分选速度较慢等问题。基于以上方面，我们提出了基于深度学习和机器视觉的红枣品质智能化分选方法，筛选精度高、速度快，有广阔的市场应用前景。
技术实现思路
本专利技术为了达到上述目的，规避传统分拣红枣品质的弊端，更快速有效的对红枣品质进行分拣，我们提出一种基于深度学习的红枣品质分选方法，本专利技术采用如下的技术方案：(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练；(4)利用训练好的模型对红枣样本图像进行判别。与现有技术相比，本专利技术的优点在于：算法处理时间耗时更少，检测速度有很大的提升；算法准确率有明显提升，减少了误检率；在大数据的背景下，本专利技术是机器视觉技术、人工智能技术、深度学习技术和图像处理技术在红枣农产品分选中的首次应用。附图说明图1为本专利技术的基于深度学习的红枣品质分选方法流程图。图2为本专利技术的网络结构示意图。图3为前期红枣图像样本的图像处理结果。图4为本专利技术训练和测试流程示意图。具体实施方式按照本专利技术的基于深度学习的红枣品质分选方法包括：(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练。(4)利用训练好的模型对红枣样本图像进行判别。前期红枣4类不同品质样本的整理：深度学习技术的CNN在前期的训练中需要大量的样本数据，样本数据的采集和整理是一项很重要的工作。首先在红枣传输检测平台上，利用可以实现自动触发采图功能的工业相机对不同品质的红枣样本图像进行分类采集。其中，选择符合光照条件的环形光源进行补光，以降低曝光时间，提高帧率，工业相机的曝光时间为200us，采集帧率为30fps。红枣样本的拍摄过程是红枣样本经过传送带送到工业相机下，通过触发器触发工业相机拍照，完成红枣样本的采集工作。我最后共采集红枣样本图像12000张，每类红枣样本图像为3000张，采集图像的尺寸640*480。红枣样本前期的处理工作，其中所用的基本图像处理方法有以下几个，图像的灰度化处理，threshold方法通过遍历灰度图中像素点，将图像二值化，处理过后的图片只有两种色值，其中的阈值选取200。图像中值滤波，滤除噪声，保护图像边缘信息。然后对得到的二值图像进行检索轮廓，使用minAreaRect方法求轮廓的最小外接矩形，转化求得矩形的四个顶点坐标，并绘制矩形，以矩形的长作为边，绘制最大外接正方形，来提取ROI图像感兴趣区域，将红枣扣出。最后，对提取到的红枣图像进行归一化，大小为227*227，作为CNN网络的输入。网络结构如下所述：该改进的网络结构包括5个卷积层，3个池化层，2个全连接层，其中卷积层conv3_1和卷积层conv3_2为并联结构，卷积层conv3_1后为池化层pool3，卷积层conv3_2后为卷积层conv4，在保证数据尺寸一致的情况下，通过concat层将池化层pool3和卷积层conv4的输出两个分支合并起来作为后续全连接层的输入，也就是将卷积层和池化层分别提取到的局部特征和的全局特征作为全连接层的输入，使得提取到的特征更加丰富。最后通过使用softmax函数将4类输出归一化为概率。卷积运算就是特征提取的过程，卷积层是卷积神经网络的核心。每个卷积层可以设置多个卷积核，每一个卷积核都是一个可学习的权值矩阵，训练时要对权值进行初始化，随着迭代次数的增加，卷积核不断更新，提取特征的能力也不断加强，最佳权值随之确定。该网络各个卷积层的featuremaps输出分别是是32，48，64，64，64，256，卷积核为3*3，步长为1。输入特征在卷积层经过卷积计算的输出公式为：该网络包含3个池化层，作用是降采样，去除featuremap里面的冗余信息，不会影响识别结果。其中前三个池化层为Maxpooling层，Maxpooling能减少模型参数数量，有利于减少模型过拟合问题，卷积核为2*2，步长为2。池化层的一般表达形式如下式所示：其中，down表示降采样函数，β表示权重系数。该网络采用一种修正线性单元ReLU作为神经元的激活函数，ReLU函数是分段线性函数，把所有的负值变为0，而正值不变的特性称作单侧抑制，使得神经网络中的神经元也具有了稀疏激活性。ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。ReLU激活函数的形式：多层的卷积神经网络，含有复杂的网络结构与大量的学习参数，如果训练样本不足则很容易导致过拟合。为了防止过拟合，在网络中引入dropout层，文献[11]详细指出了神经网络的过拟合以及dropout技术的作用。在模型进行训练时，按一定的概率随机的屏蔽掉网络的部分神经元，让这些神经元不工作，相对应的权重也不会更新传递。但是它的权重可以保留下来，因为下一次训练是很可能就重新工作了。由于随机的让一些节点不工作了，因此可以避免某些特征只在固定组合下才生效，破坏了固定组合的相关性，有意识地让网络去学习一些普遍的共性，从而提高了模型的泛化能力，阻止网络过拟合。Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维。损失函数在全连接层实现分类过程中是必需的，本文完成的任务属于单标签分类，所以选用的损失函数为SoftmaxLoss损失函数。Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维，损失函数SoftmaxLoss计算出损失值E，E越小，误识别率越高，反之，识别率越低，SoftmaxLoss损失函数公式如下：利用训练出的模型进行测试红枣样本图片，我们得到测试准确率为87％，每个红枣样本的测试时间10ms。与现有的红枣品质分选方法相比，本专利技术分选精度高、速度快，有广阔的市场应用前景。本文档来自技高网...

【技术保护点】
这是基于深度学习和机器视觉的一种红枣品质分选方法，包括：(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练。(4)利用训练好的模型对红枣测试样本进行分类。

【技术特征摘要】
1.这是基于深度学习和机器视觉的一种红枣品质分选方法，包括：(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练。(4)利用训练好的模型对红枣测试样本进行分类。2.如权利要求1所述的基于深度学习的红枣品质分选方法，其特征在于，所述(2)进一步包括：白色背景上面红枣图像的批量处理和单张处理，其中所用的图像处理方法有以下几个，图像的灰度化处理，threshold方法通过遍历灰度图中像素点，将图像二值化，处理过后的图片只有两种色值，其中的阈值选取200。图像中值滤波，滤除噪声，保护图像边缘信息。然后对得到的二值图像进行检索轮廓，使用minAreaRect方法求轮廓的最小外接矩形，转化求得矩形的四个顶点坐标，并绘制矩形，以矩形的长作为边，绘制最大外接正方形，来提取ROI图像感兴趣区域，将红枣扣出。最后，对提取到的红枣图像进行归一...

【专利技术属性】
技术研发人员：耿磊，徐文龙，肖志涛，张芳，吴骏，刘彦北，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12