一种垃圾分类方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于计算机技术领域，提供了垃圾分类方法、装置、终端设备及存储介质，垃圾分类方法包括：获取待分类垃圾的图像；若获取到与待分类垃圾的信息对应的语音数据，将语音数据和待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。本申请可以准确识别出垃圾类别，实现垃圾的精准分类。

【技术实现步骤摘要】
一种垃圾分类方法、装置、终端设备及存储介质
本申请属于计算机
，尤其涉及一种垃圾分类方法、装置、终端设备及存储介质。
技术介绍
随着社会的发展，人们生活水平日益提高，同时垃圾的产生也成指数增长。若垃圾的处理不当将会给人类的健康带来极大的威胁，因此，垃圾分类迫在眉睫。但是，垃圾分类的知识纷繁复杂，人们必须花费很长的时间去学习相关知识，才能对垃圾进行准确的分类。现有的垃圾分类效率低、且不能对垃圾进行精准分类。
技术实现思路
有鉴于此，本申请实施例提供了垃圾分类方法、装置、终端设备及存储介质，以解决现有技术中垃圾分类效率低、不能对垃圾进行精准分类的问题。本申请实施例的第一方面提供了一种垃圾分类方法，包括：获取待分类垃圾的图像；若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。在一种可能的实现方式中，所述第一分类模型包括语音识别模型和图像识别模型；所述将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别，具体包括：将所述语音数据输入所述语音识别模型，以输出第一分类特征；将所述待分类垃圾的图像输入所述图像识别模型，以输出第二分类特征；将所述第一分类特征和所述第二分类特征进行拼接，以根据拼接结果输出待分类垃圾的类别。在一种可能的实现方式中，所述将所述语音数据输入所述语音识别模型，以输出第一分类特征，具体包括：将所述语音数据转化为文本数据；对所述文本数据进行词嵌入，以得到每个词语对应的词语向量，其中，所述词语向量包括第一词语特征信息和词语位置信息；根据所述每个词语对应的第一词语特征信息和词语位置信息计算每个词语的自注意力；根据每个词语的自注意力提取每个词语对应的第二词语特征信息；根据所述每个词语的第二词语特征信息输出所述第一分类特征。在一种可能的实现方式中，所述图像识别模型是以垃圾图像和对应的预测概率为训练样本进行训练得到的，其中，所述预测概率为将所述垃圾图像输入预设图像分类模型后得到的，所述预设图像分类模型是以垃圾图像和对应的垃圾类别为训练样本进行训练得到的。在一种可能的实现方式中，所述第一分类特征为第一分类向量，所述第二分类特征为第二分类向量；所述将所述第一分类特征和所述第二分类特征进行拼接，包括：将所述第一分类向量和所述第二分类向量相加。在一种可能的实现方式中，所述获取待分类垃圾的图像之后，所述方法还包括：若未获取到与所述待分类垃圾的信息对应的语音数据，将所述待分类垃圾的图像输入第二分类模型，以输出待分类垃圾的类别，其中，所述第二分类模型是以垃圾图像以及垃圾类别为训练样本，对第二网络模型进行训练得到的。在一种可能的实现方式中，所述将所述待分类垃圾的图像输入第二分类模型，以输出待分类垃圾的类别，具体包括：提取所述待分类垃圾的图像的特征；对所述待分类垃圾的图像的特征进行全局平均池化，以得到第一图像特征向量；对所述待分类垃圾的图像的特征进行全局最大化池化，以得到第二图像特征向量；将所述第一图像特征向量和所述第二图像特征向量相加，以得到第三图像特征向量；根据所述第三图像特征向量和所述待分类垃圾的图像的特征输出待分类垃圾的类别。在一种可能的实现方式中，所述根据所述第三图像特征向量和所述待分类垃圾的图像的特征输出待分类垃圾的类别，具体包括：将所述第三图像特征向量进行线性变换，以得到对应的分类概率；将所述分类概率与所述第三图像特征向量相乘，以得到第一注意力特征图；对所述第一注意力特征图分别进行全局平均池化和全局最大化池化，以计算与所述第一注意力特征图对应的第二注意力特征图；根据所述第一注意力特征图和所述第二注意力特征图输出待分类垃圾的类别。本申请实施例的第二方面提供了一种垃圾分类装置，包括：获取模块，用于获取待分类垃圾的图像；分类模块，用于若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。在一种可能的实现方式中，所述第一分类模型包括语音识别模型和图像识别模型；所述分类模块包括：第一分类单元，用于将所述语音数据输入所述语音识别模型，以输出第一分类特征；第二分类单元，用于将所述待分类垃圾的图像输入所述图像识别模型，以输出第二分类特征；拼接单元，用于将所述第一分类特征和所述第二分类特征进行拼接，以根据拼接结果输出待分类垃圾的类别。在一种可能的实现方式中，所述第一分类单元具体用于：将所述语音数据转化为文本数据；对所述文本数据进行词嵌入，以得到每个词语对应的词语向量，其中，所述词语向量包括第一词语特征信息和词语位置信息；根据所述每个词语对应的第一词语特征信息和词语位置信息计算每个词语的自注意力；根据每个词语的自注意力提取每个词语对应的第二词语特征信息；根据所述每个词语的第二词语特征信息输出所述第一分类特征。在一种可能的实现方式中，所述图像识别模型是以垃圾图像和对应的预测概率为训练样本进行训练得到的，其中，所述预测概率为将所述垃圾图像输入预设图像分类模型后得到的，所述预设图像分类模型是以垃圾图像和对应的垃圾类别为训练样本进行训练得到的。在一种可能的实现方式中，所述第一分类特征为第一分类向量，所述第二分类特征为第二分类向量；所述拼接单元具体用于：将所述第一分类向量和所述第二分类向量相加。在一种可能的实现方式中，所述垃圾分类装置还包括图像处理模块，所述图像处理模块用于：若未获取到与所述待分类垃圾的信息对应的语音数据，将所述待分类垃圾的图像输入第二分类模型，以输出待分类垃圾的类别，其中，所述第二分类模型是以垃圾图像以及垃圾类别为训练样本，对第二网络模型进行训练得到的。在一种可能的实现方式中，所述图像处理模块包括：第一计算单元，用于提取所述待分类垃圾的图像的特征；第二计算单元，用于对所述待分类垃圾的图像的特征进行全局平均池化，以得到第一图像特征向量；第三计算单元，用于对所述待分类垃圾的图像的特征进行全局最大化池化，以得到第二图像特征向量；第四计算单元，用于将所述第一图像特征向量和所述第二图像特征向量相加，以得到第三图像特征向量；第三分类单元，用于根据所述第三图像特征向量和所述待分类垃圾的图像的特征输出待分类垃圾的类别。在一种可能的实现方式中，所述第三分类单元具体用于：将所述第三图像特征向量进行线性变换，以得到对应的分类概率；将所述分类概本文档来自技高网...

【技术保护点】
1.一种垃圾分类方法，其特征在于，包括：/n获取待分类垃圾的图像；/n若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。/n

【技术特征摘要】
1.一种垃圾分类方法，其特征在于，包括：
获取待分类垃圾的图像；
若获取到与所述待分类垃圾的信息对应的语音数据，将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别；其中，所述第一分类模型是以垃圾图像、垃圾信息对应的语音数据以及垃圾类别为训练样本，对第一网络模型进行训练得到的。


2.如权利要求1所述的垃圾分类方法，其特征在于，所述第一分类模型包括语音识别模型和图像识别模型；所述将所述语音数据和所述待分类垃圾的图像输入第一分类模型，以输出待分类垃圾的类别，具体包括：
将所述语音数据输入所述语音识别模型，以输出第一分类特征；
将所述待分类垃圾的图像输入所述图像识别模型，以输出第二分类特征；
将所述第一分类特征和所述第二分类特征进行拼接，以根据拼接结果输出待分类垃圾的类别。


3.如权利要求2所述的垃圾分类方法，其特征在于，所述将所述语音数据输入所述语音识别模型，以输出第一分类特征，具体包括：
将所述语音数据转化为文本数据；
对所述文本数据进行词嵌入，以得到每个词语对应的词语向量，其中，所述词语向量包括第一词语特征信息和词语位置信息；
根据所述每个词语对应的第一词语特征信息和词语位置信息计算每个词语的自注意力；
根据每个词语的自注意力提取每个词语对应的第二词语特征信息；
根据所述每个词语的第二词语特征信息输出所述第一分类特征。


4.如权利要求2所述的垃圾分类方法，其特征在于，所述图像识别模型是以垃圾图像和对应的预测概率为训练样本进行训练得到的，其中，所述预测概率为将所述垃圾图像输入预设图像分类模型后得到的，所述预设图像分类模型是以垃圾图像和对应的垃圾类别为训练样本进行训练得到的。


5.如权利要求2所述的垃圾分类方法，其特征在于，所述第一分类特征为第一分类向量，所述第二分类特征为第二分类向量；所述...

【专利技术属性】
技术研发人员：肖路，赵向军，郭泽，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44