一种河岸垃圾检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种河岸垃圾检测方法、装置、设备及存储介质，其方法包括：采集河道两岸的图像数据，并对所述图像数据进行预处理；通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；若存在河岸垃圾，则进行告警。本发明专利技术通过对RT

【技术实现步骤摘要】
一种河岸垃圾检测方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种河岸垃圾检测方法、装置、设备及存储介质。

技术介绍

[0002]现有技术中，对河岸垃圾检测使用的解决方案主要包括传统巡查方式、物联网技术、计算机视觉技术和大数据分析。
[0003]目前，检测河岸垃圾面临的问题主要为传统人工巡查方式耗费人力物力，环境复杂但精度要求高、目标尺寸小、图像外形不规则，还有遮挡、堆叠、抖动、光线、天气等多种情况都容易影响识别精度，大量干扰下容易造成误检。

技术实现思路

[0004]本专利技术实施例提供了一种河岸垃圾检测方法、装置、设备及存储介质，旨在解决现有技术中对河岸垃圾检测识别精度低的问题。
[0005]第一方面，本专利技术实施例提供了一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，包括：
[0006]采集河道两岸的图像数据，并对所述图像数据进行预处理；
[0007]通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；
[0008]若存在河岸垃圾，则进行告警；
[0009]其中，所述目标检测模型的训练步骤包括：
[0010]使用U2NET图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；
[0011]利用FGSM算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；
[0012]利用所述训练集对改进后的RT
‑
DETR进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的RT
‑
DETR中采用的主干网络为MobileOne结构。
[0013]第二方面，本专利技术实施例提供了一种基于目标检测的河岸垃圾检测装置，包括：
[0014]预处理单元，用于采集河道两岸的图像数据，并对所述图像数据进行预处理；
[0015]检测单元，用于通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；
[0016]告警单元，用于若存在河岸垃圾，则进行告警；
[0017]其中，所述目标检测模型的训练步骤包括：
[0018]使用U2NET图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；
[0019]利用FGSM算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证
集；
[0020]利用所述训练集对改进后的RT
‑
DETR进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的RT
‑
DETR中采用的主干网络为MobileOne结构。
[0021]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。
[0022]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。
[0023]本专利技术实施例提供了一种河岸垃圾检测方法、装置、设备及存储介质，方法包括：采集河道两岸的图像数据，并对所述图像数据进行预处理；通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；若存在河岸垃圾，则进行告警；其中，所述目标检测模型的训练步骤包括：使用U2NET图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；利用FGSM算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；利用所述训练集对改进后的RT
‑
DETR进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的RT
‑
DETR中采用的主干网络为MobileOne结构。本专利技术通过对RT
‑
DETR目标检测网络做改进，通过训练生成目标检测模型，并通过目标检测模型对采集到的图像数据进行检测，该方法能够有效识别河岸垃圾，提高环卫人员的工作效率。
附图说明
[0024]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法的流程示意图；
[0026]图2为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法的子流程示意图；
[0027]图3为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法的另一子流程示意图；
[0028]图4为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测模型的训练过程流程示意图；
[0029]图5为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测装置的示意性框图；
[0030]图6为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测装置的子单元示意性框图；
[0031]图7为本专利技术实施例提供的一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测装置的另一子单元示意性框图；
[0032]图8为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0035]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0036]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0037]请参阅图1，图1为本专利技术实施例提供的一种基于对抗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，包括：采集河道两岸的图像数据，并对所述图像数据进行预处理；通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；若存在河岸垃圾，则进行告警；其中，所述目标检测模型的训练步骤包括：使用U2NET图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；利用FGSM算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；利用所述训练集对改进后的RT
‑
DETR进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的RT
‑
DETR中采用的主干网络为MobileOne结构。2.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述利用FGSM算法生成对抗性样本，包括：采用如下公式生成对抗性样本：其中，θ表示模型权重参数，y是x的真实类别，w
T
·
x'为生成对象，w为权重向量，x为输入对象，
·
∈sign(ΔJ
x
(x,y,θ))为扰动，为模型训练的损失，∈表示人为设定的未激活扰动因子，sign表示符号函数。3.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述改进后的RT
‑
DETR包括混合编码器和带有辅助检测头的Transformer解码器，所述利用所述训练集对改进后的RT
‑
DETR进行训练，包括：将所述训练集输入至所述MobileOne结构，输出三个不同尺度的特征{S3,S4,S5}；将所述{S3,S4,S5}作为混合编码器的输入，通过所述混合编码器进行跨尺度融合和尺度内交互转换，得到一系列的图片特征；通过Transformer解码器从所述混合编码器输出的所述一系列的图片特征中选择固定数量的图片特征，再利用激活函数迭代优化所述固定数量的图片特征，生成生成框和置信度得分。4.根据权利要求3所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述激活函数为H
‑
Swish激活函数，所述H<...

【专利技术属性】
技术研发人员：苏红梅，袁戟，黄志远，陈嘉维，郭远威，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：