一种基于局部关联投票机制的刚体目标关键部位检测方法技术

本发明专利技术公开了一种基于局部关联投票机制的刚体目标关键部位检测方法，该方法首先收集标注了关键部位的图像域数据和空间域数据，然后在YOLOv5网络结构的基础上添加高分辨率通道模块作为图像域检测模型。构建局部关联投票网络作为空间域检测模型。然后将待检测的图像输入图像域检测模型中，判断图像域的检测结果是否存在漏检的被遮挡目标。当存在漏检时，将图像域检测结果的关键部位位置信息输入空间域检测模型中，采用基于局部关联的投票机制对被遮挡目标进行预测，最终解算得到刚体目标的所有关键部位的信息，得到检测结果。本方法在保证检测时效性的基础上，解决了复杂实际环境下可能产生的刚体目标关键部位被遮挡的问题。下可能产生的刚体目标关键部位被遮挡的问题。下可能产生的刚体目标关键部位被遮挡的问题。

【技术实现步骤摘要】
一种基于局部关联投票机制的刚体目标关键部位检测方法


[0001]本专利技术属于目标检测
，涉及刚体目标的关键部位检测，具体涉及一种基于局部关联投票机制的刚体目标关键部位检测方法。

技术介绍

[0002]刚体作为人们最常接触的物质形态之一，充斥于生活中的方方面面。在目标检测领域，诸如车辆检测、船舶检测等检测任务中，刚体都是作为这些任务中的主要被检目标出现。因此，刚体目标检测在安防、现代化战争等领域均有重要意义。然而在很多精细化的应用场景下，传统的目标检测多以刚体目标整体作为待检目标，这往往不能够提供精准的位置信息。如现代海战中，反舰导弹导引头对舰船要害部位的精确检测能力、引信与战斗部的精确打击能力，有着至关重要的作用。这就对刚体目标的检测提出了更加精细化的要求，因此研究刚体目标的关键部位检测具有重大研究意义。
[0003]卷积神经网络的出现，使得特征提取变得简单，优化了复杂特征的检测方法，极大促进了诸如舰船目标检测等各种检测任务的发展。然而在刚体目标检测领域，目前仍存在如下不足：1)现有检测方法大多将刚体目标整体作为检测目标，不足以给诸如打击任务下的导引头提供准确的导引信息。2)目前提出的一些基于深度学习的刚体目标关键部位检测方法，对复杂场景下存在的关键部位遮挡、关键部位姿态变化剧烈等问题处理能力欠佳。
[0004]综合分析上述问题可知，目前的处理方法中多以目标的外观特征作为主要关注的内容来对输入图像进行像素级采样。这种方式导致当被检测的目标存在被遮挡的情况时，很难从被遮挡的目标中提取出有效的语义信息，从而使基于这种机制的检测器很难准确得检测到目标。因此，亟需一种更加全面的语义获取方式，以实现更加出色的检测性能。
[0005]由于刚体目标自身的特性，使得刚体目标的各个关键部位之间在空间上有着较强的关联性。即使存在遮挡问题，往往可以通过已经检测到的部位来推断出被遮挡部位所在的位置信息，因此在外观信息检测的基础上，利用刚体目标的空间关联信息，采用基于图像的检测加基于刚体目标局部关联相结合的方式，是一种具有前景的改进方式。

技术实现思路

[0006]针对现有技术的不足，本专利技术提出了一种基于局部关联投票机制的刚体目标关键部位检测方法，对基于图像采样的YOLOv5的常规检测结果，利用基于局部关联的投票机制对其中被遮挡目标进行预测，在保持时效的基础上，稳定检测出复杂场景下的关键目标。
[0007]一种基于局部关联投票机制的刚体目标关键部位检测方法，具体包括以下步骤：
[0008]步骤1、收集包含刚体目标的图像数据，并标注图像中刚体目标关键部位的位置信息与类别信息，其中，可见的刚体目标关键部位以图像的形式标注，不可见的刚体目标关键部位以空间向量的形式标注，并分别作为图像域数据和空间域数据。
[0009]步骤2、在YOLOv5网络的基础上增加高分辨率通道，作为图像域检测模型。其中，高分辨率通道用于对输入数据进行浅层采样，并将提取到的特征与其他通道提取到的特征进
行融合，输出图像域检测结果。
[0010]步骤3、建立局部关联投票网络，作为空间域检测模型。所述空间域检测模型基于已知关键部位的像素信息，生成指向其他关键部位的单位向量，然后使用RANSAC(RANdom Sample Consensus)算法，为关键点位置投票，输出空间域检测结果。
[0011]步骤4、将步骤1得到的图像域数据和空间域数据分别输入步骤2、3得到图像域检测模型和空间域检测模型，然后通过反向传播进行模型参数调整，训练模型直至收敛。
[0012]步骤5、将存在关键部位遮挡的刚体目标图像输入步骤4训练后的图像域检测模型中，将图像域检测模型检测到的关键部位目标数与已知各类型目标个数的先验信息进行比较，得出漏检数量n：
[0013]①
当漏检数量n＝0时，以图像域检测模型的输出作为最终检测结果。
[0014]②
当漏检数量n≠0时，读取图像域检测模型输出的关键部位位置信息，生成目标包围框。将目标包围框中所有像素的位置信息输入步骤4训练后的空间域检测模型，在每个像素上得到2n个单位向量，输出漏检的关键部位包围框的中心点和左上角顶点，以图像域检测模型和空间域检测模型的输出作为最终检测结果。
[0015]步骤6、根据步骤5得到的最终检测结果，在输入图片上绘制出预测框、置信度以及对应的分类信息，完成刚体目标关键部位检测。
[0016]本专利技术具有以下有益效果：
[0017]针对舰船关键部位检测问题，本方法提出了局部关联投票算法，解决了复杂实际环境下可能产生的刚体目标关键部位被遮挡的问题。利用刚体目标的特性，将刚体目标的关键部位之间的关联性作为一种输入特征来训练神经网络，使得遮挡场景下可通过未遮挡目标检测出遮挡目标。为了使基于图像的检测方法在小关键部位的检测上也能有较好的表现，对原检测网络YOLOv5进行改进，加入高分辨采样通道，使得整个算法的适用性更好。在保持时效的基础上，能够稳定检测复杂场景下的关键目标。
附图说明
[0018]图1为刚体目标关键部位检测方法流程图；
[0019]图2为图像域检测模型网络结构图；
[0020]图3为实施例中基于图像域的检测结果图；
[0021]图4为实施例中本方法的检测结果图。
具体实施方式
[0022]一种基于局部关联投票机制的刚体目标关键部位检测方法，主要包括以下三个部分：
[0023]1)添加高分辨率通道模块：由于部分关键部位在整个图像中占据的像素较少，常规的目标检测网络可能对这些目标的检测能力欠佳，因此在YOLOv5网络结构的基础上添加高分辨率通道模块，通过一条单独的采样通道对原始图像进行浅层采样，减少小目标的像素在图像下采样过程中的损失，从而保留小目标特征。
[0024]2)基于检测结果的局部关联投票网络：基于图像采样的YOLOv5难以解决目标遮挡的问题，但是在实际场景中，关键目标被部分遮挡或完全遮挡是不可避免的。为了保证检测
的时效性，利用YOLOv5这种实时性强的网络来检测未被遮挡的关键目标，然后基于图像检测的结果，采用基于局部关联的投票机制对被遮挡目标进行预测，以得到更好的检测表现。
[0025]3)检测结果生成模块：首先根据YOLOv5的常规检测信息，生成部分关键部位目标信息。随后将这些信息送入局部关联投票网络来得到遮挡目标预测信息，根据预测出的被遮挡目标信息以及前一阶段的检测信息，经过目标信息解算与绘制包围框来生成最终舰船关键部位检测结果图。
[0026]本实施例以舰船的关键部位检测为例，结合附图对一种基于局部关联投票机制的刚体目标关键部位检测方法作进一步的解释说明，如图1所示，具体包括以下步骤：
[0027]步骤1、收集一系列包含舰船的图像数据，以舰船火炮、相控阵雷达、火控雷达和天线作为关键部位，对图像进行标注。其中，可见的关键部位以图像的形式标注，不可见的关键部位以空间向量的形式标注，并分别作为图像域数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部关联投票机制的刚体目标关键部位检测方法，其特征在于：具体包括以下步骤：步骤1、收集包含刚体目标的图像数据，并标注图像中刚体目标关键部位的位置信息与类别信息，其中，可见的刚体目标关键部位以图像的形式标注，不可见的刚体目标关键部位以空间向量的形式标注，并分别作为图像域数据和空间域数据；步骤2、在YOLOv5网络的基础上增加高分辨率通道，作为图像域检测模型；其中，高分辨率通道用于对输入数据进行浅层采样，并将提取到的特征与其他通道提取到的特征进行融合，输出图像域检测结果；步骤3、建立局部关联投票网络，作为空间域检测模型；所述空间域检测模型基于已知关键部位的像素信息，生成指向其他关键部位的单位向量，然后使用RANSAC算法，为关键点位置投票，输出空间域检测结果；步骤4、将步骤1得到的图像域数据和空间域数据分别输入步骤2、3得到图像域检测模型和空间域检测模型，然后通过反向传播进行模型参数调整，训练模型直至收敛；步骤5、将存在关键...

【专利技术属性】
技术研发人员：陈华杰，周枭，许琮擎，占俊杰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：