【技术实现步骤摘要】
本专利技术涉及果蔬分拣，具体来说，涉及一种基于多角度融合的水果分级方法、装置、存储介质及计算机设备。
技术介绍
1、传统的水果分选主要依赖于人工挑选，因水果采摘期短，产量大，工人的经验差异较大，无法保证准确率。如今，也存在一些的机械辅助分拣情况，但只能完成简单的大小分级，不能实现瑕疵分选。随着大数据时代的到来，深度学习技术(dle)飞速发展，且在智能工业、智能交通、智能家居方面取得有效成果。庞大的数据量和高性能的运行设备是决定dle在各场景下能否有效运行的重要因素之一，样本数据采集难易决定了数据量的大小，也决定了模型的整体分拣性能，因此，越来越多的学者致力于研究多角度样本的生成，目的是增加样本的数量，增强样本的细节信息。由于水果多为不规则形状，想要获取多个方位的图像需要将水果进行转动，而不规则形状的水果则不便于旋转，因此想要获得全方位的水果图像较为困难。
技术实现思路
1、1.专利技术要解决的技术问题
2、本专利技术提供一种基于多角度融合的水果分级方法、装置、存储介质及计算机设备，丰富了水果侧边信息，实现小规模数据情况下提前完成训练得到最优模型参数，提高水果分选精度和效率。
3、2.技术方案
4、为达到上述目的，本专利技术提供的技术方案为：
5、本专利技术的一种基于多角度融合的水果分级方法，其步骤为，
6、s1、使用相机采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
7、s2、对步骤s
8、s3、将步骤s2获得的经过计算的3d图像转换为2d图像；
9、s4、对s3获得的2d图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
10、s5、设计用于水果分级的差分卷积神经网络结构，使用步骤s4的2d图像数据进行训练，完成训练后获取网络连接权重矩阵；
11、s6、将待检测的水果彩色图像通过训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
12、作为本专利技术更进一步地改进，所述的步骤s1中，相机设置三组，一组放置于水果正上方，另外两组设置在水果侧边。
13、作为本专利技术更进一步地改进，所述步骤s2中，利用3d相机采集大量不同类型水果的3d图像，构建不同水果的通用3d模型，根据检测的不同水果，利用训练好的3d模型，将采集的2d图像转换成3d云图。
14、作为本专利技术更进一步地改进，所述的步骤s2中，欧拉角计算步骤如下，
15、获取水果3d图像信息的坐标向量d和特征向量f，
16、d＝(x1,y1,z1,x2,y2,z2,......xn,yn,zn)t (1)
17、其中，x、y、z为坐标信息，x1、x2...xn，y1、y2...yn，z1、z2...zn为3d图像中每个点的三维坐标值；
18、f＝(r1,g1,b1,r2,g2,b2,......rn,gn,bn)t (2)
19、其中，r、g、b为颜色信息，r1、r2...rn，g1、g2...gn，b1、b2...bn为3d图像中每个点的颜色值；
20、将将m张水果的3d图像的中心点对应在一起，构建一个模型，每个图像都包含对应的di和fi两种向量，构建的新的3d图像向量，公式如下
21、
22、其中，m表示图像数，α，β为可调系数，
23、根据式(5)对3d图像进行欧拉角计算，获得欧拉角转旋转矩阵；
24、
25、其中，rx(α)、ry(θ)、rz(β)为每个坐标点旋转一定角度后的旋转矩阵；通过设定不同的α,β,θ的值，从而旋转坐标系，得到不同的图像。
26、作为本专利技术更进一步地改进，所述的步骤s4包括以下步骤：
27、s401：将水果的图像尺寸统一调整为320*320像素；
28、s402：将图像进行人工分类，赋予不同的标签号；
29、s403：将标记好的图像制作成训练和测试样本集并进行分批，分别作为训练集、样本集和测试集；并采用70％的数据作为训练集，采用20％的样本数据作为验证集，10％的数据作为测试集。
30、作为本专利技术更进一步地改进，所述的s5中，设计差分卷积神经网络结构具体包括以下步骤：
31、s501：设计一个具有14层卷积、12层批量归一化、4层最大池化、8层relu激活函数层、1层flatten、1个sigmoid函数分类层的卷积神经网络，所述卷积神经网络包括输入层、4个子单元块、输出卷积层、sigmoid函数分类层，所述每个子单元模块每个子单元块包含一个前特征网络单元、一个后特征网络单元、一个特征联合层或一个信息叠加层；
32、s502：训练的样本数据输入到差分卷积神经网络的输入层，采用adam优化算法替代sgd算法训练差分卷积神经网络，损失函数计算方式采用交叉熵，直到差分卷积神经网络的误差达到最小值；
33、s503：等待收敛完成，得到由网络权重系数组成的连接权重矩阵t。
34、作为本专利技术更进一步地改进，所述卷积神经网络的4个子单元块中，第一个子单元的前特征网络中数据传递包含16*3个5*5卷积核的卷积层i、批处理归一化层i，第一个子单元的后特征网络中数据传递依次包含16*16个3*3卷积核的卷积层ii、批处理归一化层ii、relu激活函数层i、16*16个3*3积核的卷积层iii、批处理归一化层iii，第一个子单元的前特征网络和后特征网络通过特征联合层i连接在一起，通过relu激活函数层ii传递到第二子单元的前特征网络；
35、所述第二子单元的的前特征层数据传递依次包含32*32个3*3的卷积核的卷积层iv、批处理归一化层iv，第二个子单元的后特征网络中数据传递依次包含32*32个3*3卷积核的卷积层v、批处理归一化层vrelu激活函数层iii、32*32个3*3卷积核的卷积层vi、批处理归一化层vi，第二子单元的前特征网络和后特征网络通过信息叠加层i融合在一起，传递给relu激活函数层iv,然后送入第三子单元的前特征网络；
36、所述第三子单元的的前特征层数据传递依次包含64*32个3*3的卷积核的卷积层vii、批处理归一化层vii，第三个子单元的后特征网络中数据传递依次包含64*64个3*3卷积核的卷积层viii、批处理归一化层viii，relu激活函数层v、64*64个3*3积核的卷积层ix、批处理归一化层ix，第三子单元的前特征网络和后特征网络通过信息叠加层ii融合在一起，传递给relu激活函数层vi,然后送入第四子单元的前特征网络；
37、所述第四子单元的的前特征层数据传递依次包含128*64个3*3的卷积核的卷积层x、批处理归一化层x，第四个子单元本文档来自技高网...
【技术保护点】
1.一种基于多角度融合的水果分级方法，其特征在于，其步骤为，
2.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤S1中，相机设置三组，一组放置于水果正上方，另外两组设置在水果侧边。
3.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述步骤S2中，利用3D相机采集大量不同类型水果的3D图像，构建不同水果的通用3D模型，根据检测的不同水果，利用训练好的3D模型，将采集的2D图像转换成3D云图。
4.根据权利要求3所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤S2中，欧拉角计算步骤如下，
5.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤S4包括以下步骤：
6.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的S5中，设计差分卷积神经网络结构具体包括以下步骤：
7.根据权利要求6所述的一种基于多角度融合的水果分级方法，其特征在于，所述卷积神经网络的4个子单元块中，第一个子单元的前特征网络中数据传递
8.一种基于多角度融合的水果分级装置，其特征在于，所述装置包括：
9.一种基于多角度融合的水果分级存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7任一项所述的水果分级方法的步骤。
10.一种基于多角度融合的水果分级计算设备，其特征在于，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果分级算法程序，所述水果分级程序配置为实现权利要求1-7中任一项所述的水果分级方法的步骤。
...【技术特征摘要】
1.一种基于多角度融合的水果分级方法，其特征在于，其步骤为，
2.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤s1中，相机设置三组，一组放置于水果正上方，另外两组设置在水果侧边。
3.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述步骤s2中，利用3d相机采集大量不同类型水果的3d图像，构建不同水果的通用3d模型，根据检测的不同水果，利用训练好的3d模型，将采集的2d图像转换成3d云图。
4.根据权利要求3所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤s2中，欧拉角计算步骤如下，
5.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的步骤s4包括以下步骤：
6.根据权利要求1所述的一种基于多角度融合的水果分级方法，其特征在于，所述的s5中，设计差分卷积神经网络结构具体包括以下步骤：
7.根据权利要求6所述的一种基于多角度融合的水果分级方法，其特征在于，...
【专利技术属性】
技术研发人员：汪洋，鲍红平，沙正霞，王海彬，
申请(专利权)人：安徽唯嵩光电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。