一种基于并联卷积神经网络的水果品种识别方法技术

本发明专利技术公开了一种基于并联卷积神经网络的水果品种识别方法，包括步骤1：将带有类别标签的水果图像改变成像素为128×128的3通道图片；步骤2：对所述步骤1的结果同时进行平移、旋转、镜像翻转操作，生成各个尺度的水果图像数据集；步骤3、将所述步骤2的结果输入到生成对抗网络模型对数据进行增强；步骤4、构建并联卷积神经网络模型，对所述步骤3的结果进行多尺度的特征提取；步骤5：根据所述步骤4提取的特征，并联卷积神经网络模型对水果图像的类别进行预测并与类别标签进行比对，根据比对结果对所述的并联卷积神经网络模型进行训练。本发明专利技术可以提高基于图像的水果品种识别的准确率，在水果产业机械化、智能化应用中具有重要意义。

【技术实现步骤摘要】
一种基于并联卷积神经网络的水果品种识别方法
本专利技术涉及图像识别，尤其涉及一种基于并联卷积神经网络的水果品种识别方法。
技术介绍
目前，我国现行的水果产业结构中机械化程度较低，大部分生产环节尤其果实采摘主要依靠费时费力的人工进行。整个水果生产作业中包括采摘、储藏、运输、加工以及销售等环节，因此研究开发水果农业生产机器人，是提高水果生产效率和节约人力成本的必然趋势。而无论是采摘、分拣机器人，还是水果生产环节中的果实品质、品种检测系统，它们的正常工作都依赖于图像处理模块对果实的正确识别，例如采摘机器人只有从果树中识别出水果并获取到果实的准确位置，才能为机械手臂提供运动参数，进而完成对果实的摘取操作。近几年，深度学习技术迅速发展，它能够出色地完成各项计算机视觉任务，并逐步应用于农业领域。构建的深度学习模型经过大量数据训练，能够自动地学习到不同事物的特征信息，获取各类别的差异。深度学习模型经训练学习能够将原始数据转换为更加抽象、高级的表达，进而完成图像分类、检测等任务。然而，目前基于图像深度学习的水果品种识别方法的准确率偏低，不能完全满足实际应用的要求。
技术实现思路
专利技术目的：本专利技术目的是提供一种基于并联卷积神经网络的水果品种识别方法，克服现有数据集较少且传统的并联卷积神经网络识别率低的问题，实现相似水果品种间的快速准确的区分。技术方案：本专利技术提供一种基于并联卷积神经网络的水果品种识别方法，包括如下步骤：步骤1：将带有类别标签的水果图像改变成像素为128×128的3通道图片；步骤2：对步骤1的结果同时进行平移、旋转、镜像翻转操作，生成各个尺度的水果图像数据集；步骤3、将步骤2的结果输入到生成对抗网络模型对数据进行增强；步骤4、构建并联卷积神经网络模型，对步骤3的结果进行多尺度的特征提取；步骤5：根据步骤4提取的特征，并联卷积神经网络模型对水果图像的类别进行预测并与类别标签进行比对，根据比对结果对的并联卷积神经网络模型进行训练，使训练模型的准确率达到最高，损失率降到最低。。优选地，步骤2包括对图片旋转30°、60°、90°，平移10％、20％、30％，镜像旋转30°、60°、90°。其中，步骤3的生成对抗网络包括生成器和判别器，向生成器中输入噪声，然后从噪声中随机采样，通过5层网络，生成128×128的3通道数据样本；判别器对的数据样本与真实样本进行比较，判断生成器生成样本的真伪，生成器借助判别器固定的参数进行更新从而生成让判别器更难分辨真伪的图片。步骤4所使用的并联卷积神经网络包括8个卷积层，6个最大池化层，最后为全连接层，全连接层将卷积层和最大池化层具有分类信息的局部信息进行整合。步骤5还包括利用最大类间距损失函数与SoftmaxWithLoss损失函数的结合进行卷积神经网络模型的优化。将待分类水果图像作为目标图像，进行步骤1至步骤3的操作后，输入已完成训练的并联卷积神经网络模型进行水果识别。进行传统数据增强和生成对抗网络进行数据增强；并将待分类水果图像带入训练好的所述模型进行训练。有益效果：与现有技术相比，本专利技术具有如下显著的优点：利用对抗生成网络结合传统数据增强的方法生成大量高质量的数据集；利用并联卷积神经网络完成不同尺度特征的同步提取，使得特征表达更为丰富，让网络提取到更多的特征信息；利用最大类间距损失函数及SoftmaxWithLoss结合的方式来增大相似品种间的距离，从而提高相似品种间的识别准确率。本专利技术在公共数据集fruit-360上可以达到98.85％的准确率。附图说明图1为本专利技术的流程图；图2为本专利技术的生成对抗网络示意图；图3为本专利技术的并联卷积神经网络示意图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明。本专利技术提供了一种训练水果品种分类模型的方法，包括如下步骤：步骤1：对带有类别标签的水果图像进行传统的数据增强，形成具有多个数据集的水果图像。步骤2：构建生成对抗网络模型，利用生成对抗网络来生成更多高质量的数据集。此网络包括判别器和生成器，两者通过博弈的方式对生成对抗网络模型进行训练。判别器通过生成器传递的参数来调节自己的参数，以此来判断传入的数据的真伪，生成器借助固定的判别器的参数来更新自己的参数，以此来生成更多难以被判别器判断的数据，最终判别器和生成器达到一个平衡点，训练结束。当训练生成器时，固定判别器的参数，生成器借助固定的判别器的参数来更新自己的参数使生成的样本尽量难以被判别器判断出该数据是真实数据还是模拟样本。当训练判别器时，固定生成器的参数，把生成器产生的数据当作负样本.真实数据的采集作为正样本共同输入到判别器，通过生成器传递的参数，调节自身参数使其尽可能准确判断出传入数据的来源。步骤3：利用带有类别标签的水果图像作为训练数据，分别带入具有并联卷积神经网络模型进行特征提取。C1、C2为16个3×3的卷积核，使用全零填充，步长为1，输出为128×128×3。S1为2×2的最大池化层，步长为2，输出为64×64×16。C3为16个大小为3×3的卷积核，使用全零填充，步长为1，输出为64×64×16。C4为16个大小为3×3的卷积核，使用全零填充，步长为1，输出为64×64×16，S2为大小为2×2的最大池化层，步长为2，输出为32×32×16。将生成的特征图像输入到a、b两个并联通道中，a通道包含32个3×3的卷积层和一个2×2的最大池化层，卷积层使用全零填充，步长为1，池化层步长为4。b通道包含32个5×5的卷积核和两个2×2的最大池化层，其中卷积层使用全零填充，步长为1，最大池化层的步长为2，a、b通道各生成32个8×8的特征图，然后两个通道所生成的64个8×8的特征图作为C5的输入，C5和C6为64个大小为3×3的卷积层，使用全零填充，步长为1，S3为大小为2×2的最大池化层，步长为2。最后为全连接层，将卷积层和池化层具有分类信息的局部信息进行整合。步骤4：将所提取到的特征信息对所述水果图像得品种类别进行预测并与相应标签进行比对，基于比对结果对所述的并联卷积神经网络模型进行训练。在步骤4中还可以利用预测同一类别不同品种间的最大类间距损失函数与SoftmaxWithLoss函数组成新的损失函数来进行卷积神经网络的优化。其最大类间距损失函数公式如下：其中，i代表第i类水果，j代表第j类水果，m代表总共的水果种类，M(i)表示第i类水果的均值，M(j)代表第j类的均值，n代表第i水果的样本数量，x(i,e)代表第i类水果第e个品种的值，hw,b(x(i,e))表示wx(i,e-1)+b，w表示第e个品种的权值，b表示偏置项。所识别品种不需要与其余类水果进行一一比较，只需要与相似类比较即可，最大类间距会使相似品种间的间距随着训练次数的增多而增大。将最大类间距与SoftmaxWithLoss结合，得到公式:J＝S-λL(3)其中，S本文档来自技高网...

【技术保护点】
1.一种基于并联卷积神经网络的水果品种识别方法，其特征在于，包括如下步骤：/n步骤1：将带有类别标签的水果图像改变成像素为128×128的3通道图片；/n步骤2：对所述步骤1的结果同时进行平移、旋转、镜像翻转操作，生成各个尺度的水果图像数据集；/n步骤3、将所述步骤2的结果输入到生成对抗网络模型对数据进行增强；/n步骤4、构建并联卷积神经网络模型，对所述步骤3的结果进行多尺度的特征提取；/n步骤5：根据所述步骤4提取的特征，并联卷积神经网络模型对水果图像的类别进行预测并与类别标签进行比对，根据比对结果对所述的并联卷积神经网络模型进行训练提高识别准确率。/n

【技术特征摘要】
1.一种基于并联卷积神经网络的水果品种识别方法，其特征在于，包括如下步骤：
步骤1：将带有类别标签的水果图像改变成像素为128×128的3通道图片；
步骤2：对所述步骤1的结果同时进行平移、旋转、镜像翻转操作，生成各个尺度的水果图像数据集；
步骤3、将所述步骤2的结果输入到生成对抗网络模型对数据进行增强；
步骤4、构建并联卷积神经网络模型，对所述步骤3的结果进行多尺度的特征提取；
步骤5：根据所述步骤4提取的特征，并联卷积神经网络模型对水果图像的类别进行预测并与类别标签进行比对，根据比对结果对所述的并联卷积神经网络模型进行训练提高识别准确率。


2.根据权利要求1所述的基于并联卷积神经网络的水果品种识别方法，其特征在于，所述步骤2包括对图片旋转30°、60°、90°，平移10％、20％、30％，镜像旋转30°、60°、90°。


3.根据权利要求1所述的基于并联卷积神经网络的水果品种识别方法，其特征在于，所述步骤3的生成对抗网络包括生成器和判别...

【专利技术属性】
技术研发人员：李锋，李超，黄炜嘉，张勇停，汪平，张慧慧，孙晗笑，叶童玲，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏;32