基于深度图像及多光谱图像融合的垃圾分类方法及装置制造方法及图纸

本发明专利技术属于垃圾分类技术领域，尤其涉及一种基于深度图像及多光谱图像融合的垃圾分类方法及装置，所述方法包括：获取待分类垃圾的垃圾图像数据集；垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；将待分类垃圾深度图像和待分类垃圾多光谱图像作图像配准处理；对配准后垃圾深度图像和配准后垃圾多光谱图像作分类标注处理；将标注后垃圾深度图像和标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；根据最优神经网络模型生成分选结果。本发明专利技术实现了对垃圾实现自动评分以及自动分类，输出一个最大概率的类别标签，进而实现对垃圾的高精准度和高效率分类，满足垃圾分类的生产需求。

【技术实现步骤摘要】
基于深度图像及多光谱图像融合的垃圾分类方法及装置
本专利技术属于垃圾分类
，尤其涉及一种基于深度图像及多光谱图像融合的垃圾分类方法及装置。
技术介绍
垃圾分类，是指将性质相同或相近的垃圾分类，按照指定时间、种类，将该项垃圾放置于指定地点，由垃圾车予以收取，或投入适当回收系统。我国建筑行业对建筑垃圾的分类问题未引起足够的重视，处理方式多为统一堆放填埋，分类都较为粗糙，未真正做到建筑垃圾的合理分类和循环回收利用。目前，对建筑垃圾分类多采用人工分类，因建筑施工垃圾的材质和形状大多数极为相似，通过人工分类，虽然可以达到90％以上的分类效果，但是人工分类的速度极为受限，难以保证连续以及长期的工作时间。同时对于现有的计算机的自动分类器来说，大多数的分类方案都是选择提取图像的RGB像素特征来进行图像分类，虽然可以在普通的自然图像达到一定的分类效果，但还是存在对垃圾分类精准度低和效率低的问题。因此，实有必要设计一种基于深度图像及多光谱图像融合的垃圾分类方法及装置。
技术实现思路
专利技术目的在于提供一种基于深度图像及多光谱图像融合的垃圾分类方法及装置，旨在解决现有技术中对垃圾分类精准度低和效率低的技术问题。为实现上述目的，本专利技术实施例提供一种基于深度图像及多光谱图像融合的垃圾分类方法，所述方法包括：获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。可选地，所述待分类垃圾多光谱图像包括紫外光图像、近红外图像和RGB图像；所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中，所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准后RGB图像。可选地，所述对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像的步骤，具体包括：对所述配准后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外图像和所述配准后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像和所述标注后垃圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光图像、标注后近红外图像和标注后RGB图像。可选地，所述将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型的步骤，具体包括：根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量；根据所述标注后RGB图像生成第二特征向量；将所述第一特征向量和所述第二特征向量进行特征连接后得到向量融合特征；扩大所述向量融合特征的向量维度，并得到输出向量特征信息；将所述输出向量特征信息与所述分类标注信息作对比，并生成对比结果；所述对比结果包括交并比和非极大抑制值；调整所述交并比和所述非极大抑制值，并基于回归方法生成最优神经网络模型。可选地，所述根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量的步骤，具体包括：将所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像作为三通道图像输入至YOLOv4神经网络中的一个CSPDarknet53中；根据所述CSPDarknet53提取所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像的光谱图像特征信息；所述光谱图像特征信息包括光谱图像特征和光谱图像关联特征；对所述光谱图像特征和所述光谱图像关联特征作卷积核处理后得到不同尺度的光谱特征图；将不同尺度的所述光谱特征图作交叉尺度融合后生成融合后光谱特征图；将所述融合后光谱特征图作金字塔池化并生成所述第一特征向量。可选地，所述根据所述标注后RGB图像生成第二特征向量的步骤，具体包括：将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53中；根据所述CSPDarknet53提取所述标注后RGB图像的RGB图像特征信息；所述RGB图像特征信息包括RGB图像特征和RGB图像关联特征；对所述RGB图像特征和所述RGB图像关联特征作卷积核处理后得到不同尺度的RGB图像特征图；根据不同尺度的所述RGB图像特征图作交叉尺度融合后生成融合后RGB图像特征图；将所述融合后RGB图像特征图作金字塔池化并生成所述第二特征向量。可选地，所述获取待分类垃圾的垃圾图像数据集的步骤之后，还包括：对所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作降噪处理。本专利技术实施例还提供一种基于深度图像及多光谱图像融合的垃圾分类装置，所述装置包括：垃圾图像数据集获取模块，用于获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；图像配准处理模块，用于将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；图像分类标注处理模块，用于对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；神经网络模型生成模块，用于将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；分选结果生成模块，用于根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。可选地，本专利技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。可选地，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。本专利技术实施例提供的基于深度图像及多光谱图像融合的垃圾分类方法及装置中的上述一个或多个技术方案至少具有如下技术效果之一：...

【技术保护点】
1.一种基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述方法包括：/n获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；/n将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；/n对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；/n将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；/n根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。/n

【技术特征摘要】
1.一种基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述方法包括：
获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；
将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；
对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；
将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；
根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。


2.根据权利要求1所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述待分类垃圾多光谱图像包括紫外光图像、近红外图像和RGB图像；
所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：
将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中，所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准后RGB图像。


3.根据权利要求2所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像的步骤，具体包括：
对所述配准后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外图像和所述配准后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像和所述标注后垃圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光图像、标注后近红外图像和标注后RGB图像。


4.根据权利要求3所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型的步骤，具体包括：
根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量；
根据所述标注后RGB图像生成第二特征向量；
将所述第一特征向量和所述第二特征向量进行特征连接后得到向量融合特征；
扩大所述向量融合特征的向量维度，并得到输出向量特征信息；
将所述输出向量特征信息与所述分类标注信息作对比，并生成对比结果；所述对比结果包括交并比和非极大抑制值；
调整所述交并比和所述非极大抑制值，并基于回归方法生成最优神经网络模型。


5.根据权利要求4所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量的步骤，具体...

【专利技术属性】
技术研发人员：莫卓亚，邓辅秦，冯华，梁明健，
申请(专利权)人：广东弓叶科技有限公司，
类型：发明
国别省市：广东;44