一种基于DETR模型的矿区轨道障碍物检测方法及系统技术方案

本发明专利技术提供了一种基于DETR模型的矿区轨道障碍物检测方法及系统，属于轨道障碍物检测技术领域。包括以下步骤：S1.建立训练样本集：采集真实煤矿地面轨道图像并进行预处理，对图像中的障碍物进行标注，建立训练样本集；S2.构造轨道障碍物检测模型：采用以DETR模型为主干网络引入多尺度混合注意力模块，构造障碍物检测模型；S3.训练轨道障碍物检测模型：讲训练样本集中的训练样本输入轨道障碍物检测模型，轨道障碍物检测模型输出；S4.轨道障碍物检测。本发明专利技术通过结合基础轨道障碍物检测模型DETR，提高了轨道障碍物检测性能，降低了漏检率，拥有较好的鲁棒性与泛化能力，克服了现有技术对轨道障碍物检测的一些不足之处。道障碍物检测的一些不足之处。道障碍物检测的一些不足之处。

【技术实现步骤摘要】
一种基于DETR模型的矿区轨道障碍物检测方法及系统


[0001]本专利技术涉及轨道障碍物检测
，具体而言，涉及一种基于DETR模型的矿区轨道障碍物检测方法及系统。

技术介绍

[0002]矿山自有铁路沿线巡查的目的是掌握铁路运行状况及环境的变化，发现铁路设施缺陷、危及线路安全的隐患等安全隐患，保证线路运输安全和矿区安全生产。将巡检车应用于铁路沿线和采空区的日常巡检和安全隐患侦测，可以达到无需人工现场作业，显著提高安全隐患查找的效率和质量。在轨道车前面装备机器视觉传感器，通过机器学习建立识别模型，自动辨别异常信息实现轨道障碍物检测。
[0003]目前基于机器视觉轨道障碍物检测方法主要有两个方向:基于传统图像处理方法和基于机器学习的方法对轨道图像进行目标检测。前者主要有光流法和帧差法，但是光流法和帧差法都是根据运动障碍物产生的相邻图像从差异,进行运行障碍物检测，该方法的局限性是静止障碍物在相邻图像间的差异较小，难以检测。后者也具有小目标障碍物检测效果不好，以及算力消耗大，对硬件有一定依赖性的缺点等。
[0004]因此，需要一种能解决复杂轨道环境下识别各种尺度障碍物的轻量级机器视觉模型。

技术实现思路

[0005]为了弥补以上不足，本专利技术提供了一种基于DETR模型的矿区轨道障碍物检测方法及系统，旨在改善上述
技术介绍
中的问题。
[0006]本专利技术实施例提供了一种基于DETR模型的矿区轨道障碍物检测方法，包括以下步骤：
[0007]S1.建立训练样本集：采集真实煤矿地面轨道图像并进行预处理，对图像中的障碍物进行标注，建立训练样本集；
[0008]S2.构造轨道障碍物检测模型：采用以DETR模型为主干网络引入多尺度混合注意力模块，构造障碍物检测模型；
[0009]S3.训练轨道障碍物检测模型：讲训练样本集中的训练样本输入轨道障碍物检测模型，轨道障碍物检测模型输出；
[0010]S4.轨道障碍物检测：将待检测样本输入轨道障碍物检测模型，生成轨道障碍物的定位信息，并对轨道障碍物进行分类。
[0011]在一种具体的实施方案中，所述S2具体包括以下步骤：
[0012]S201.构造轨道障碍物检测基础模型DETR：构造主干网络，编码器，解码器，组成轨道障碍物检测基础模型DETR；
[0013]S202.通过上下文感知模块引入多尺度混合注意力模块；
[0014]S203.改进DETR的编码器，得到轨道障碍物检测模型。
[0015]在一种具体的实施方案中，所述S201的步骤具体包括：
[0016]S2011.构造主干网络：主干网络是一个CN网络，对输入图像进行特征提取，得到下采样过后的特征图；
[0017]S2012.构造编码器：对二维特征图进行降维，再将降维得到的序列数据送入若干个编码器层，每个编码器层包含一个多头的self
‑
attention模块和一个FFN模块，同时需要再每个attention层都加一个位置编码，Attention的计算公式如下：
[0018]Attention(q.k.v)＝softmax(qk
T
)v
[0019]其中，q＝fc(a)为查询向量，k＝fc(b)为键向量，v＝fc(b)值向量；如果a＝b就是Self
‑
altention；
[0020]S2013.构造解码器：将编码器得到的输出，位置编码和物体查询作为解码器的输入。
[0021]在一种具体的实施方案中，所述S2013中的物体查询相当于一种可学习的编码，表示物体在图像中位置的一维，其维度为N，表示通过decoder会产生出N个out put embedding。
[0022]在一种具体的实施方案中，所述S202的步骤具体包括：
[0023]S2021.构造多尺度通道注意力模块和位置注意力模块，再由两者构造多尺度混合注意力模块，通过全局平均池化操作与1x1卷积操作在全局与局部尺度沿通道维度提取特征，具体公式如下：
[0024]全局尺度：
[0025]G(X
′
)＝BN(C2((LR(BN(C1(g(X)))))))
[0026]局部尺度：
[0027]L(X
′
)＝BN(C2(LR(BN(C1(X)))))
[0028]多尺度通道注意力：
[0029][0030]其中，X
′
为位置注意力模块的输出，CA为多尺度通道注意力，C1与C2分别表示卷积核参数为(c/r2)*c*1*1和c*(c/r2)*1*1的卷积操作，BN表示BatchNormalization操作，LR表示Leaky Relu激活函数。；
[0031]S2022.提取主干网络输出浅层特征图与深层特征图，后通过上采样与下采样改变浅层与深层图形形状与目标图一致，再融合浅层和深层特征图，强化轨道障碍物区域特征信息。
[0032]在一种具体的实施方案中，所述S3的具体包括以下步骤：
[0033]S301.将训练样本输入轨道障碍物检测模型，经过主干网络中卷积操作输出下采样过后的特征图；
[0034]S302.将由主干网络输出的特征图先送入融合模块，再将融合模块的输出降维为序列数据后输入改进的编码器，再将编码器的输出输入解码器处理后得到若千个预测框的位置向量和类别向量；
[0035]S303.计算损失并反向传播，更新轨道障碍物检测模型中的相关参数。
[0036]在一种具体的实施方案中，所述S303中计算损失包括配对分类损失和边框损失。
[0037]本专利技术还提供了一种基于DETR模型的矿区轨道障碍物检测系统，所述系统包括相
互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于DETR模型的矿区轨道障碍物检测方法的步骤。
[0038]在一种具体的实施方案中，所述系统还包括计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述基于DETR模型的矿区轨道障碍物检测方法的步骤。
[0039]与现有技术相比，本专利技术的有益效果：
[0040]1、本专利技术通过上下文感知模块，为轨道障碍物检测引入了多尺度上下文特征强化目标特征的表示能力，解决了小型障碍物由于尺度小而不能精确识别的问题；
[0041]2、本专利技术采用多尺度混合注意力机制能使得网络能学习到不同特征的重要性，从而忽略某些无用特征而专注于有效特征；
[0042]3、本专利技术通过结合基础轨道障碍物检测模型DETR，提高了轨道障碍物检测性能，降低了漏检率，拥有较好的鲁棒性与泛化能力，克服了现有技术对轨道障碍物检测的一些不足之处。
附图说明
[0043]为了更清楚地说明本专利技术实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DETR模型的矿区轨道障碍物检测方法，其特征在于，包括以下步骤：S1.建立训练样本集：采集真实煤矿地面轨道图像并进行预处理，对图像中的障碍物进行标注，建立训练样本集；S2.构造轨道障碍物检测模型：采用以DETR模型为主干网络引入多尺度混合注意力模块，构造障碍物检测模型；S3.训练轨道障碍物检测模型：讲训练样本集中的训练样本输入轨道障碍物检测模型，轨道障碍物检测模型输出；S4.轨道障碍物检测：将待检测样本输入轨道障碍物检测模型，生成轨道障碍物的定位信息，并对轨道障碍物进行分类。2.根据权利要求1所述的一种基于DETR模型的矿区轨道障碍物检测方法，其特征在于，所述S2具体包括以下步骤：S201.构造轨道障碍物检测基础模型DETR：构造主干网络，编码器，解码器，组成轨道障碍物检测基础模型DETR；S202.通过上下文感知模块引入多尺度混合注意力模块；S203.改进DETR的编码器，得到轨道障碍物检测模型。3.根据权利要求2所述的一种基于DETR模型的矿区轨道障碍物检测方法，其特征在于，所述S201的步骤具体包括：S2011.构造主干网络：主干网络是一个CN网络，对输入图像进行特征提取，得到下采样过后的特征图；S2012.构造编码器：对二维特征图进行降维，再将降维得到的序列数据送入若干个编码器层，每个编码器层包含一个多头的self
‑
attention模块和一个FFN模块，同时需要再每个attention层都加一个位置编码，Attention的计算公式如下：Attention(q.k.v)＝softmax(qk
T
)v其中，q＝fc(a)为查询向量，k＝fc(b)为键向量，v＝fc(b)值向量；如果a＝b就是Self
‑
altention；S2013.构造解码器：将编码器得到的输出，位置编码和物体查询作为解码器的输入。4.根据权利要求3所述的一种基于DETR模型的矿区轨道障碍物检测方法，其特征在于，所述S2013中的物体查询相当于一种可学习的编码，表示物体在图像中位置的一维，其维度为N，表示通过decoder会产生出N个outputembedding。5.根据权利要求2所述的一种基于DETR模型的矿区轨...

【专利技术属性】
技术研发人员：侯训超，李豹，孙涛，张奇，张磊，孟磊，王蒙，王电，李传林，单增军，
申请(专利权)人：淮北矿业股份有限公司，
类型：发明
国别省市：