基于目标检测的鲁棒工程车辆识别方法及系统技术方案

本发明专利技术公开了一种基于目标检测的鲁棒工程车辆识别方法及系统，首先采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；然后将获取的增强特征图输入位置检测网络从而预测目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的目标位置和类型。本发明专利技术能够在拥有复杂场景变化的电网监控视频中准确地检测出场景中存在的工程车辆的位置和类型，从而提供一种自动化的外破行为监控手段，减少人力成本，保障电网系统安全。电网系统安全。电网系统安全。

【技术实现步骤摘要】
基于目标检测的鲁棒工程车辆识别方法及系统


[0001]本专利技术属于计算机视觉
，涉及一种计算机辅助工程车辆检测方法及系统，具体涉及一种基于目标检测的鲁棒工程车辆识别方法及系统。
技术背景
[0002]电力资源的运输有赖于建立安全强大的电网系统，现实中户外输电线路往往存在诸多安全隐患。其中，施工车辆造成外部破坏是最常见的人为不安全因素，比如挖掘机违章施工破坏高压电线杆、起重机操作不当误触高压电线等。为了避免这些事故的发生，相关部门在电网输电线路上安置了许多监控摄像头，但是仅凭人力监控，其成本和因疏忽造成的后果都是难以承受的。若能将目标检测技术应用于视频监控，利用算法自动分析识别监控场景中的工程车辆，以此减少人力成本，消除人为疏忽导致的误报、漏报，提供一种事故发生前提前给出警示、事故发生时协助处理、事故发生后方便及时取证的措施，保障电网的稳定运行。
[0003]目标检测是计算机视觉和数字图像处理的一个热门方向。近几年，目标检测领域出现了不使用锚框而基于关键点或基于中心点进行检测的新思路。CornerNet首次将目标检测视为关键点检测和组合任务，通过热力图来定位目标所处的矩形区域的左上角点和右下角点这一对关键点，然后进行关键点组合配对，进而得到目标边界框；而ExtremeNet则检测目标的最上点、最下点、最左点和最右点这四个极值点以及中心点共五个关键点，通过中心点对四个极值点进行分组，进而得到目标的位置预测；CenterNet则将目标检测任务直接简化为先采用关键点检测的方式预测目标边界框的几何中心点，然后回归边界框的尺寸，从而定位目标；CenterNet2通过集成CenterNet到两阶段架构中，并采用概率优化目标进行训练，结合了无锚框单阶段算法和两阶段算法的优势，加快了两阶段算法的推理时间，并使得模型的检测精度得到大大提升。
[0004]真实场景下的电网输送线路监控视频中，图像的场景或背景十分复杂，可能会涉及不同的天气、光照等条件，并且受制于不同摄像头多样化的软、硬件参数，捕获的图像在视角、清晰度、分辨率等方面不尽相同，图像中不同目标实例的尺度也相差巨大。除此之外，极大极小物体、受遮挡物体以及多个物体重叠或分布密集的问题非常棘手，而工程车辆本身还存在形态多变的特点。如何克服这些问题，以较高精度检测和识别出工程车辆，并得到一个鲁棒的检测识别系统，是现有技术面临的难题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术结合基于中心域的目标检测算法，提供了一种基于目标检测的鲁棒工程车辆识别方法及系统。
[0006]本专利技术的方法所采用的技术方案是：一种基于目标检测的鲁棒工程车辆识别方法，包括以下步骤：步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注
意力机制的特征增强网络进行特征增强，获得增强特征图；步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
[0007]本专利技术的系统所采用的技术方案是：一种基于目标检测的鲁棒工程车辆识别系统，包括以下模块：模块1，用于采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；模块2，用于将模块1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
[0008]与现有的检测方法相比，本专利技术具有以下的优点与积极效果：（1）本专利技术中的特征提取操作分为提取和增强两个部分，增强操作使得提取出的特征更为精确有效，为后续模块提供了有效的参考信息，此外使用级联位置修正和类别预测模块对预测的类别和位置进行多次调整，检测精度更高。
[0009]（2）本专利技术应用了无锚框的检测算法，不需要针对与锚框相关的诸多参数进行调参，并且减少了在图像上密集铺设锚框带来的额外计算量和推理时间。
[0010]（3）本专利技术的方法对极大极小目标以及形变复杂目标有更好的效果。
附图说明
[0011]图1：本专利技术实施例的方法流程图。
[0012]图2：本专利技术实施例的多尺度特征提取网络结构图。
[0013]图3：本专利技术实施例的特征增强网络结构图。
[0014]图4：本专利技术实施例的位置增检测网络结果图。
[0015]图5：本专利技术实施例的位置修正和类别预测网络结构图。
具体实施方式
[0016]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施案例对本专利技术做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0017]请见图1，本专利技术提供的一种基于目标检测的鲁棒工程车辆识别方法，包括以下步骤：步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；本实施例中，步骤1的具体实现包括以下子步骤：步骤1.1：将待识别视频帧图像输入多尺度特征提取网络，其中
尺度，从而得到一组不同尺度的原始特征图，Ch为通道数；本实施例中Ch取值为256；步骤1.2：将原始特征图逐尺度输入基于注意力机制的特征增强网络，增强特征图中的感兴趣区域响应，得到一组增强特征图。
[0018]步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。
[0019]本实施例中，步骤2的具体实现包括以下子步骤：步骤2.1：将增强特征图逐一输入基于CenterNet改进的具有高召回率和强可靠前背景分类能力的位置检测网络，从而得到N对（数量可能很大）输入图像对应的位置预测图和关键点热力图，此处位置预测图每个位置对应一个位置预测值分别表示目标中心点到外接矩形左上右下四条边的距离，关键点热力图每个位置指示图像对应位置存在工程车辆目标关键点的置信度；步骤2.2：从关键点定位热力图中提取具有峰值响应的K（较大的一个整数）个位置作为预测的工程车辆目标的中心域关键点，由这些关键点与对应的位置预测值计算得到K个可能包含任意一种工程车辆的矩形预测区域的位置，使用D
‑
IoU NMS过滤部分低质量预测结果，得到不超过M个矩形预测区域；其中，M为预设值；分别表示矩形预测区域的左上角点坐标和宽高，，；本实施例中，M在训练和推理时取值分别为4000和1000；步骤2.3：根据步骤2.2中计算的矩形预测区域，裁剪并池化步骤1中得到的增强特征图，得到统一尺寸的仅含矩形感兴趣区域的特征图；本实施例中，裁剪后的增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的鲁棒工程车辆识别方法，其特征在于，包括以下步骤：步骤1：采用多尺度特征提取网络从待识别视频帧图像中提取特征图，使用基于注意力机制的特征增强网络进行特征增强，获得增强特征图；步骤2：将步骤1获取的增强特征图输入位置检测网络从而预测工程车辆目标位置，通过后处理过滤低质量的位置预测，然后根据预测的目标位置提取特征图中的感兴趣区域，之后输入级联的位置修正和类别预测网络并进行后处理以得到最终的工程车辆目标位置及其类型。2.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤1中所述多尺度特征提取网络，由深度卷积神经网络和多尺度特征融合层组成；所述深度卷积神经网络的最后6层输出通过卷积后生成通道数相同的特征图C2、C3、C4、C5、C6、C7；C7、C6经过所述多尺度特征融合层后输出P7、P6；P5由P6上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C5和P6作为输入，生成施加注意力后的特征图；P4由P5上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C4和P5作为输入，生成施加注意力后的特征图；P3由P4上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C3和P4作为输入，生成施加注意力后的特征图；P2由P3上采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用C2和P3作为输入，生成施加注意力后的特征图。3.根据权利要求2所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤1中所述特征增强网络，包括注意力门模块，跨层融合尺度感知注意力模块、空间感知自注意力模块、任务感知通道注意力模块；所述特征增强网络，以所述多尺度特征提取网络输出的P2、P3、P4、P5、P6、P7作为输入，获取中间结果A2、A3、A4、A5、A6、A7；其中，A2和A7直接由P2和P7得来；A3由A2下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P3和下层特征图A2作为输入，生成施加注意力后的特征图；A4由A3下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P4和下层特征图A3作为输入，生成施加注意力后的特征图；A5由A4下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P5和下层特征图A4作为输入，生成施加注意力后的特征图；A6由A5下采样的结果和注意力门模块的输出拼接后经过卷积融合得到，其中，注意力门模块使用P6和下层特征图A5作为输入，生成施加注意力后的特征图；中间结果A2、A3、A4、A5、A6、A7经过串联的跨层融合尺度感知注意力模块、空间感知自注意力模块和任务感知通道注意力模块，得到最终输出特征图F2、F3、F4、F5、F6、F7。4.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤2中所述位置检测网络，输入数据依次经过可变形卷积块、动态线性修改单元、卷积块、卷积块、可变形卷积块和动态线性修改单元后，输出分别经过两路，一路输入卷积块、Scale层后获得位置预测图，一路经过卷积块后获得关键点热力图。5.根据权利要求1所述的基于目标检测的鲁棒工程车辆识别方法，其特征在于：步骤2中所述位置修正和类别预测网络，包括依次连接的第一修正模块、第二修正模块和第三修正模块，所述第一修正模块、第二修正模块和第三修正模块均由裁剪与池...

【专利技术属性】
技术研发人员：王中元，李云浩，陈世杰，邵振峰，何政，邓练兵，
申请(专利权)人：武汉大学，
类型：发明
国别省市：