基于注意力机制和集成学习的冰箱食材检测方法及装置制造方法及图纸

本发明专利技术提供了一种基于注意力机制和集成学习的冰箱食材检测方法及装置。其方法包括：获得训练完备后的冰箱食材检测集成模型，所述冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，所述第一冰箱食材检测模型包括联合注意力机制模块；获取待检测冰箱食材图像，并基于所述冰箱食材检测集成模型对所述待检测冰箱食材图像进行检测，获得所述待检测冰箱食材图像的检测结果。本发明专利技术通过设置冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，且第一冰箱食材检测模型包括联合注意力机制模块，可增强特征的表达能力，提高冰箱食材检测集成模型的检测精度和准确性。精度和准确性。精度和准确性。

【技术实现步骤摘要】
基于注意力机制和集成学习的冰箱食材检测方法及装置


[0001]本专利技术涉及智能冰箱食材检测
，具体涉及一种基于注意力机制和集成学习的冰箱食材检测方法及装置。

技术介绍

[0002]随着物联网、大数据、人工智能的发展以及经济的快速增长和人类生活水平的提高，在智能家居领域，冰箱果蔬识别与分类的应用研究受到了越来越多的重视。智能冰箱不仅能够实现温湿度的自动控制，还能实现果蔬等食材的智能化管理，包括食材的数量与种类、保鲜周期以及合理的膳食搭配。果蔬自动识别技术作为一项新兴技术，应用前景广泛，对于该领域的相关研究也具有重要的意义。并且近些年来深度学习方法也更广泛地应用于图像领域。
[0003]与传统的辅助检测方法相比，深度学习的方法通过对大量样本进行训练学习，提取的图像特征能够更好地表征数据集的本质信息，适用于目标的检测。且在智能冰箱检测领域，已经有一些深度学习算法应用于食材检测，并且进展顺利。专利CN110966833A公开了一种检测冰箱内食材信息的方法及冰箱，其公开了通过BP神经网络、支持向量机(SVM)、Adaboost中的任意一种模型对冰箱食材信息进行检测。其存在以下技术问题：仅通过单一的识别模型对冰箱食材进行检测，检测准确性较低。
[0004]因此，急需提供一种基于注意力机制和集成学习的冰箱食材检测方法及装置，用以解决现有技术中存在的对冰箱食材进行检测的监测准确性较低的技术问题。

技术实现思路

[0005]有鉴于此，有必要提供一种基于注意力机制和集成学习的冰箱食材检测方法及装置，用以解决现有技术中存在的对冰箱食材进行检测的监测准确性较低的技术问题。
[0006]一方面，本专利技术提供了一种基于注意力机制和集成学习的冰箱食材检测方法，包括：
[0007]获得训练完备后的冰箱食材检测集成模型，所述冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，所述第一冰箱食材检测模型包括联合注意力机制模块；
[0008]获取待检测冰箱食材图像，并基于所述冰箱食材检测集成模型对所述待检测冰箱食材图像进行检测，获得所述待检测冰箱食材图像的检测结果。
[0009]在一些可能的实现方式中，所述第一冰箱食材检测模型为YOLOv5s模型，所述第二冰箱食材检测模型为EfficientDet模型。
[0010]在一些可能的实现方式中，所述联合注意力机制模块包括改进通道注意力机制子模块、改进空间注意力机制子模块以及联合子模块；
[0011]所述改进通道注意力机制子模块包括依次连接的通道残差单元、通道池化层、通道卷积层、第一通道激活函数、通道全连接层、第二通道激活函数以及通道特征加权层，所
述通道池化层包括并行的通道平均池化层以及通道最大池化层；
[0012]所述改进空间注意力机制子模块包括依次连接的空间残差单元、空间池化层、空间卷积层、第一空间激活函数、空间全连接层、第二空间激活函数以及空间特征加权层，所述空间池化层包括并行的全局平均池化层以及全局最大池化层；
[0013]所述联合子模块包括联合卷积层，所述联合卷积层用于对所述通道特征加权层的输出和所述空间特征加权层的输出进行卷积操作，获得联合注意力特征图。
[0014]在一些可能的实现方式中，所述冰箱食材检测集成模型还包括预测格式统一化模块以及预测模块，所述预测格式统一化模块和所述预测模块设置于所述第一冰箱食材检测模型和第二冰箱食材检测模型之后，用于分别对所述第一冰箱食材检测模型的第一预测结果和所述第二冰箱食材检测模型的第二预测结果进行编码，对应获得第一目标预测结果和第二目标预测结果；
[0015]所述第一目标检测结果包括第一目标检测置信度，所述第二目标检测结果包括第二目标检测置信度，所述预测格式统一化模块还用于基于预设的权重对所述第一目标检测置信度和所述第二目标检测置信度进行加权，对应获得第一加权检测置信度和第二加权检测置信度；
[0016]所述预测模块用于根据第一加权检测置信度和第二加权检测置信度获得所述待检测冰箱食材图像的检测结果。
[0017]在一些可能的实现方式中，所述第一目标检测结果还包括第一预测框和第一目标检测类别，所述第二目标检测结果还包括第二预测框和第二目标检测类别；所述冰箱食材检测集成模型还包括设置于所述预测格式统一化模块和所述预测模块之间的去重模块，所述去重模块用于当所述第一目标检测类别和所述第二目标检测类别相同时，根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框中的目标预测框。
[0018]在一些可能的实现方式中，所述根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框中的目标预测框，包括：
[0019]根据所述第一预测框的框选范围和所述第二预测框的框选范围确定所述第一预测框和所述第二预测框的交集面积和并集面积，并根据所述交集面积和所述并集面积确定交并比；
[0020]判断所述交并比是否大于阈值交并比，所述第一预测框的框选范围是否大于预设范围阈值，所述第二预测框的框选范围是否大于预设范围阈值；
[0021]当所述交并比大于阈值交并比时，或所述第一预测框的框选范围大于预设范围阈值且所述第二预测框的框选范围大于预设范围阈值时，根据所述第一目标检测置信度和所述第二目标检测置信度确定冗余预测框，并删除所述冗余预测框。
[0022]在一些可能的实现方式中，在所述获取待检测冰箱食材图像之后，还包括：
[0023]对所述待检测冰箱食材图像进行伪彩色图像处理。
[0024]另一方面，本专利技术还提供了一种基于注意力机制和集成学习的冰箱食材检测装置，包括：
[0025]模型获取单元，用于获得训练完备后的冰箱食材检测集成模型，所述冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，所述
第一冰箱食材检测模型包括联合注意力机制模块；
[0026]食材检测单元，用于获取待检测冰箱食材图像，并基于所述冰箱食材检测集成模型对所述待检测冰箱食材图像进行检测，获得所述待检测冰箱食材图像的检测结果。
[0027]另一方面，本专利技术还提供了一种电子设备，包括存储器和处理器，其中，
[0028]所述存储器，用于存储程序；
[0029]所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的基于注意力机制和集成学习的冰箱食材检测方法中的步骤。
[0030]另一方面，本专利技术还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的基于注意力机制和集成学习的冰箱食材检测方法中的步骤。
[0031]采用上述实施例的有益效果是：本专利技术提供的基于注意力机制和集成学习的冰箱食材检测方法，通过设置冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，包括：获得训练完备后的冰箱食材检测集成模型，所述冰箱食材检测集成模型包括模型结构不相同的第一冰箱食材检测模型和第二冰箱食材检测模型，所述第一冰箱食材检测模型包括联合注意力机制模块；获取待检测冰箱食材图像，并基于所述冰箱食材检测集成模型对所述待检测冰箱食材图像进行检测，获得所述待检测冰箱食材图像的检测结果。2.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述第一冰箱食材检测模型为YOLOv5s模型，所述第二冰箱食材检测模型为EfficientDet模型。3.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述联合注意力机制模块包括改进通道注意力机制子模块、改进空间注意力机制子模块以及联合子模块；所述改进通道注意力机制子模块包括依次连接的通道残差单元、通道池化层、通道卷积层、第一通道激活函数、通道全连接层、第二通道激活函数以及通道特征加权层，所述通道池化层包括并行的通道平均池化层以及通道最大池化层；所述改进空间注意力机制子模块包括依次连接的空间残差单元、空间池化层、空间卷积层、第一空间激活函数、空间全连接层、第二空间激活函数以及空间特征加权层，所述空间池化层包括并行的全局平均池化层以及全局最大池化层；所述联合子模块包括联合卷积层，所述联合卷积层用于对所述通道特征加权层的输出和所述空间特征加权层的输出进行卷积操作，获得联合注意力特征图。4.根据权利要求1所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述冰箱食材检测集成模型还包括预测格式统一化模块以及预测模块，所述预测格式统一化模块和所述预测模块设置于所述第一冰箱食材检测模型和第二冰箱食材检测模型之后，用于分别对所述第一冰箱食材检测模型的第一预测结果和所述第二冰箱食材检测模型的第二预测结果进行编码，对应获得第一目标预测结果和第二目标预测结果；所述第一目标检测结果包括第一目标检测置信度，所述第二目标检测结果包括第二目标检测置信度，所述预测格式统一化模块还用于基于预设的权重对所述第一目标检测置信度和所述第二目标检测置信度进行加权，对应获得第一加权检测置信度和第二加权检测置信度；所述预测模块用于根据第一加权检测置信度和第二加权检测置信度获得所述待检测冰箱食材图像的检测结果。5.根据权利要求4所述的基于注意力机制和集成学习的冰箱食材检测方法，其特征在于，所述第一目标检...

【专利技术属性】
技术研发人员：王珊珊，朱威，胡谦，邹心怡，杨宇晨，何嘉文，吴霓，谭微微，杨腾飞，曾亮，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：