基于原型网络的小样本垃圾图像分类方法技术

本发明专利技术公开了一种基于原型网络的小样本垃圾图像分类方法，该方法需要少量垃圾图像样本就能完成对垃圾图像的自动分类识别，能够提高垃圾处理过程中的自动分拣效率。包括：首先使用摄像头采集若干垃圾图像构建垃圾分类数据集并使用伽马校正方法对图像进行预处理，然后使用四层卷积神经网络构建原型网络，接着计算查询样本类别概率输出值与真实标签值之间的损失函数对原型网络进行训练，最后固定原型网络中的参数对垃圾图像进行分类测试。网络中的参数对垃圾图像进行分类测试。网络中的参数对垃圾图像进行分类测试。

【技术实现步骤摘要】
基于原型网络的小样本垃圾图像分类方法


[0001]本专利技术涉及计算机视觉领域，特别涉及基于原型网络的小样本垃圾图像分类方法。

技术介绍

[0002]随着经济的快速增长，城市生活垃圾总量也随之逐年的大量增加。对这些垃圾进行及时有效地快速处理对于创造优美的生活环境，节约地球资源，促进社会的可持续发展具有重要意义。垃圾的自动分拣是实现垃圾分类处理的核心环节，而垃圾图像的分类识别是自动分拣环节的关键，其识别的速度直接制约整个垃圾处理生产线的效率。
[0003]随着大规模标注数据的出现以及高性能图形处理器的飞速发展，深度卷积神经网络在诸如图像分类、目标检测以及语义分割等各个计算机视觉领域都取得了巨大的成功。研究人员同样将其应用于垃圾图像的自动识别领域，例如，刘国栋等(刘国栋,冯立辉,陈子健,李亿俍,卢继华.一种基于DMD和YOLOV5的光电智能垃圾分拣方法.申请号：202110758716.8)公开了一种基于DMD和YOLOV5的光电智能垃圾分拣方法，该方法将构建的垃圾图像数据集输入YOLOV5网络进行训练，得到训练好的YOLOV5网络作为垃圾图像识别模型；翟懿奎等(翟懿奎,余翠琳,柯琪锐,周文略,甘俊英,应自炉,曾军英.水底视觉垃圾清理机器人及其运作方法，申请号：202010176992.9.)公开了一种水底视觉垃圾清理机器人及其运作方法，该方法使用宽度学习网络中的自动编码器提取垃圾图像特征，利用代价敏感型分类方法得到权重，并进行分类。袁靖等(袁靖,周翔,张标,邓永财.垃圾分选系统及垃圾分选方法.申请号：201910287785.)公开的一种垃圾分选系统及垃圾分选方法，该方法中使用Faster R
‑
CNN模型中的区域卷积特征模块提取目标垃圾图像的卷积特征并对其进行分类识别。
[0004]然而，上述方法往往依赖于大量的标注图像才能完成对模型的训练，并且模型中的参数量巨大，在对垃圾图像进行实时分类识别时会产生时间滞后，从而影响整个垃圾处理生成线的分拣效率。

技术实现思路

[0005]专利技术目的：为了解决现有技术中的不足，本专利技术提供了一种基于原型网络的小样本垃圾图像分类方法，该方法需要少量垃圾图像样本就能完成对垃圾图像的自动分类识别，能够提高垃圾处理过程中的自动分拣效率。
[0006]技术方案：本专利技术所述的基于原型网络的小样本垃圾图像分类方法，包括如下主要步骤：步骤1、图像的采集与预处理：使用摄像头采集若干垃圾图像构建垃圾分类数据集I，并将数据集I分为训练集I
train
和测试集I
test
；对于图像数据集I中的每一幅图像利用伽玛校正方法对进行预处理，增加图像的亮度，便于后续的分类识别；
[0007]步骤2、原型网络的构建：该网络主要是由四个模块组成，分别为主干网络，原型计算模块，相似性计算模块以及Softmax层；
[0008]步骤3、原型网络的输入与输出：采用片段式训练方式，在每个训练片段构建N
‑
way
‑
K
‑
shot分类任务，每个分类任务利用训练集I
train
建立支持样本数据集和查询样本数据集将和中的图像输入到原型网络中，依次经过网络的四个模块，得到关于查询样本的类别概率输出值；
[0009]步骤4、原型网络的训练：计算查询样本类别概率输出值与真实标签值之间的损失函数，利用梯度下降方法对网络中的参数进行优化；
[0010]步骤5、垃圾图像的分类测试：固定原型网络中的参数，利用测试数据集I
test
建立支持样本数据集和测试样本数据集，并将其输入到原型网络中，依次经过网络的三个模块，就得到关于查询样本的类别输出值，从而完成对垃圾图像的分类测试。
[0011]优选的，步骤1图像的采集与预处理具体方法如下：
[0012](1)使用摄像头采集若干垃圾图像构建垃圾分类数据集I，并将数据集I随机分为训练集I
train
和测试集I
test
,并对两个数据集中的图像进行人工标注为四类，这四类标签分别为湿垃圾、干垃圾、可回收垃圾和有害垃圾；
[0013](2)对于图像数据集I中的每一幅图像利用伽马校正方法进行预处理，第n幅图像I
n
进行校正的公式为：
[0014][0015]其中为校正后的图像，c和γ表示可调的参数。
[0016]优选的，步骤2原型网络的构建具体方法如下：
[0017](1)原型网络中的主干网络是由四个卷积模块组成，每一个卷积模块包含一个带有64个3
×
3滤波器的卷积层，一个批量归一化层和一个ReLU激活层组成；另外，前两个卷积块还增加了2
×
2最大池层；主干网络表示为F
θ
(
·
)，其中θ表示主干网络中的参数；
[0018](2)原型网络中的原型计算模块表示为P(
·
)，该模块对每类支持样本的特征进行均值计算；
[0019](3)原型网络中的相似性计算模块表示为D(
·
)，该模块计算查询样本与每类支持样本原型之间的欧式距离；
[0020](4)原型网络中的softmax层表示为S(
·
)，该模块将查询样本与每类支持样本原型之间的欧式距离转化为概率输出值。
[0021]优选的，步骤3原型网络的输入与输出具体方法如下：
[0022](1)在训练集I
train
中随机抽取N类样本，在N类样本里随机抽取K个样本作为支持样本数据集再在剩余样本里面随机抽取Q个样本作为查询样本集
[0023](2)支持样本集中第k个校正后图像样本表示为查询样本集中第q个图像样本表示为经过原型网络的主干网络分别被表示为和支持样本集经过原型计算模块时每类原型特征的计算公式为：
[0024][0025](3)支持样本集与查询样本集经过相似性度量模块时，对第q个图像样本特征与第n类支持原型特征的相似性度量计算公式为：
[0026][0027](4)查询样本集经过softmax层得到属于第n个类别的概率输出值表示为：
[0028][0029]优选的，步骤4原型网络的训练具体方法如下：
[0030](1)查询样本类别概率输出值与真实标签值之间的损失函数计算公式为：
[0031][0032]其中y
qn
表示第q个查询样本真实标签的第n个分量；
[0033](2)利用梯度下降方法对网络中的参数θ进行优化，进行迭代计算的公式为：
[0034][0035]其中λ为迭代步长参数。
[0036]优选的，步骤5垃圾图像的分类测试具体方法如下：
[0037](1)固定原型网络中的参数θ；
[0038](2)在测试集I
test
中随机抽取N类样本，在N类样本里随机抽取K个样本作为支持样本数据集再在剩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于原型网络的小样本垃圾图像分类方法，其特征在于，包括如下主要步骤：步骤1、图像的采集与预处理：使用摄像头采集若干垃圾图像构建垃圾分类数据集I，并将数据集I分为训练集I
train
和测试集I
test
；对于图像数据集I中的每一幅图像利用伽玛校正方法对进行预处理，增加图像的亮度，便于后续的分类识别；步骤2、原型网络的构建：该网络主要是由四个模块组成，分别为主干网络，原型计算模块，相似性计算模块以及Softmax层；步骤3、原型网络的输入与输出：采用片段式训练方式，在每个训练片段构建N
‑
way
‑
K
‑
shot分类任务，每个分类任务利用训练集I
train
建立支持样本数据集和查询样本数据集将和中的图像输入到原型网络中，依次经过网络的四个模块，得到关于查询样本的类别概率输出值；步骤4、原型网络的训练：计算查询样本类别概率输出值与真实标签值之间的损失函数，利用梯度下降方法对网络中的参数进行优化；步骤5、垃圾图像的分类测试：固定原型网络中的参数，利用测试数据集I
test
建立支持样本数据集和测试样本数据集，并将其输入到原型网络中，依次经过网络的三个模块，就得到关于查询样本的类别输出值，从而完成对垃圾图像的分类测试。2.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法，其特征在于，步骤1图像的采集与预处理具体方法如下：(1)使用摄像头采集若干垃圾图像构建垃圾分类数据集I，并将数据集I随机分为训练集I
train
和测试集I
test
，并对两个数据集中的图像进行人工标注为四类，这四类标签分别为湿垃圾、干垃圾、可回收垃圾和有害垃圾；(2)对于图像数据集I中的每一幅图像利用伽马校正方法进行预处理，第n幅图像I
n
进行校正的公式为：其中为校正后的图像，c和γ表示可调的参数。3.根据权利要求1所述基于原型网络的小样本垃圾图像分类方法，其特征在于，步骤2原型网络的构建具体方法如下：(1)原型网络中的主干网络是由四个卷积模块组成，每一个卷积模块包含一个带有64个3
×
3滤波器的卷积层，一个批量归一化层和一个ReLU激活层组成；另外，前两个卷积块还增加了2
×
2最大池层；主干网络表示为F
θ

【专利技术属性】
技术研发人员：杨赛，杨慧，周伯俊，胡彬，
申请(专利权)人：南通大学，
类型：发明
国别省市：