基于嵌入式平台的实时多目标编批方法技术

本发明专利技术涉及一种基于嵌入式平台的实时多目标编批方法，包括以下步骤：步骤1：检测目标的空间位置信息；步骤2：空间位置关联；步骤3：身份信息更新；步骤4：板卡联动。本发明专利技术的基于嵌入式平台的实时多目标编批方法，其是基于嵌入式平台多目标检测与实时跟踪的新方法，适用于复杂场景下高帧频的多目标检测跟踪工作中。改变过去传统跟踪器单一点选目标方式，同时可以应用卷积神经网络提升对目标的检测效果，还可以对多目标完成自动编批并指导跟踪器跟踪状态更新、目标选取及目标重捕获，实现了高帧频复杂背景下的多目标检测跟踪任务。算法步骤和理论简单，编程易于实现，而且能够保证算法的实时性。的实时性。的实时性。

【技术实现步骤摘要】
基于嵌入式平台的实时多目标编批方法


[0001]本专利技术涉及目标检测跟踪
，特别涉及一种基于嵌入式平台的实时多目标编批方法。

技术介绍

[0002]目标检测跟踪技术在计算机视觉领域扮演着至关重要的角色，其实质是根据所提供目标在像面上的初始位置状态，通过图像处理算法实时预测目标在视频的后续图像帧的位置状态。图像跟踪在安防监控、火控观瞄、交通道路监测、武器制导等领域都有广泛应用，良好的图像跟踪性能是光电系统性能的核心保证。
[0003]基于DSP+FPGA的传统嵌入式跟踪器具有尺寸小、功耗低、整合度高、操作灵活性强等特点，被广泛应用。传统嵌入式跟踪器的跟踪算法主要是对跟踪目标进行建模并完成其相关性匹配。基于目标建模和匹配的跟踪算法一般步骤是首先对目标进行特征提取，根据提取到的目标特征完成建模，最后采用相应相似性度量准则完成目标模板与候选目标的相似匹配。传统跟踪器虽然可以完成高帧频跟踪任务，但是在场景复杂时跟踪效果不佳。基于DSP+FPGA的传统嵌入式跟踪器主要是对跟踪目标进行建模并完成其相关性匹配，选择目标时点选，在复杂背景或者背景与目标相似时容易丢失目标，目标重捕获能力差，在目标丢失后难以重新捕获目标。

技术实现思路

[0004]本专利技术要解决现有技术中的技术问题，提供一种基于嵌入式平台的实时多目标编批方法。
[0005]为了解决上述技术问题，本专利技术的技术方案具体如下：
[0006]一种基于嵌入式平台的实时多目标编批方法，其适用的系统包括：智能处理板卡，跟踪器，以及主控；所述智能处理板卡与所述跟踪器进行信息交互；所述智能处理板卡用来检测视场内需要跟踪目标类型，并根据检测结果确定其空间位置；所述跟踪器用来对目标进行捕获和/或跟踪；所述主控用来选择和切换跟踪目标；
[0007]该实时多目标编批方法包括以下步骤：
[0008]步骤1：检测目标的空间位置信息；
[0009]利用智能处理板卡进行跟踪类型目标检测，获取所有跟踪类型目标空间位置，同时根据检测结果完成待跟踪类型目标编批；
[0010]步骤2：空间位置关联；
[0011]智能处理板卡依次将当前帧的检测数据与已存在的目标队伍根据相关空间位置关联准则进行匹配关联；
[0012]步骤3：身份信息更新；
[0013]数据匹配关联后，智能处理板卡依次将当前帧的检测数据与目前存在的目标队伍进行匹配，根据匹配结果对目标队伍的信息进行更新；
[0014]步骤4：板卡联动；
[0015]智能处理板卡完成当前帧目标队伍编批更新后，跟踪器与智能处理板卡进行跟踪目标的信息交互，指导跟踪器跟踪过程，同时主控可以根据编批结果进行跟踪目标的选取切换。
[0016]在上述技术方案中，在步骤1中，所述智能处理板卡通过卷积神经网络完成跟踪类型目标的检测。
[0017]在上述技术方案中，在步骤3中，身份信息更新的具体更新流程包括：
[0018]在原有目标未发生变化时且出现新的目标时，将会判断目前队伍目标数量与预先设定编号数量，当目前队伍目标数量大于等于预先设定编号数量时，不赋予编号；
[0019]当目前队伍目标数量小于预先设定编号数量且新出现目标连续出现3帧时，将对闲置编号进行保留帧判断，只有大于保留帧阈值时，才重新启用该编号；
[0020]当编号启用后将对每个赋予编号目标将保留n帧，当编号目标连续消失超过n帧依旧未出现对编号进行销毁，并使用该编号为新的目标赋予身份信息。
[0021]在上述技术方案中，步骤4还包括：智能处理板卡与跟踪器通过信息交互，在目标发生丢失时指导跟踪器完成重捕获。
[0022]在上述技术方案中，所述智能处理板卡为能应用卷积神经网络AI板卡。
[0023]在上述技术方案中，所述智能处理板卡为NVIDIA Jetson AGX Xavier。
[0024]本专利技术具有以下有益效果：
[0025]本专利技术的基于嵌入式平台的实时多目标编批方法，其是基于嵌入式平台多目标检测与实时跟踪的新方法，适用于复杂场景下高帧频的多目标检测跟踪工作中。本专利技术利用智能处理板卡(NVIDIA Jetson AGX Xavier)与基于DSP+FPGA的传统跟踪器相结合的方式，对传统跟踪器进行了拓展，具体采用“识别跟踪并行”的总体方案，即通过智能处理板卡完成识别算法，对当前存在的目标数据信息完成检测及编批，同时与跟踪器实时进行多目标信息的交互关联，进而实现了多目标的精准跟踪。该方法改变过去传统跟踪器单一点选目标方式，同时可以应用卷积神经网络提升对目标的检测效果，还可以对多目标完成自动编批并指导跟踪器进行目标选取及重捕获过程，实现了高帧频复杂背景下的多目标检测跟踪任务。算法步骤和理论简单，编程易于实现，而且能够保证算法的实时性。
[0026]本专利技术的基于嵌入式平台的实时多目标编批方法，在传统跟踪器的基础上加入智能处理板卡，设计多目标检测跟踪实现方案。采用“识别跟踪并行”的总体方案，即通过智能处理板卡完成识别算法，对当前存在的目标数据信息完成检测及编批，同时与跟踪器实时进行多目标信息的交互关联，进而实现了多目标的精准跟踪。该方法不仅可以应用卷积神经网络提升对目标的检测效果，同时还可以对多目标完成自动编批并指导跟踪器进行目标选取及重捕获过程，实现了高帧频复杂背景下的多目标检测跟踪任务。
[0027]本专利技术的基于嵌入式平台的实时多目标编批方法，采用基于DSP+FPGA的传统嵌入式跟踪器的基础上加入智能处理板卡两个板卡相互配合完成(也可整合到一个板卡实现)，应用卷积神经网络识别，检测识别补充目标丢失后重捕获能力，扩展原有跟踪器性能，提高跟踪效果。
[0028]本专利技术的基于嵌入式平台的实时多目标编批方法，采用编批队伍数量固定方式，方便队伍管理并扩展选择跟踪目标方式易于目标选择；采用目标特征与空间位置信息联合
方式进行编批环节数据关联，简单方便稳定性高；智能处理板卡不仅仅是NVIDIA Jetson AGX Xavier，还可以应用可以运行卷积神经网络的任意板卡；检测算法可以替换任意卷积神经网络检测算法。
附图说明
[0029]下面结合附图和具体实施方式对本专利技术作进一步详细说明。
[0030]图1为本专利技术的基于嵌入式平台的实时多目标编批方法的构架流程示意图。
[0031]图2为加入SimAMC3注意力机制模块后的网络结构示意图。
[0032]图3为SimAMC3注意力机制模块结构示意图。
[0033]图4为数据关联算法流程示意图。
[0034]图5为空间位置关联依据示意图。
[0035]图6为编批更新流程示意图。
[0036]图7为选取跟踪过程关键帧的实验效果示意图。
[0037]图8为区域框交并比示意图。
[0038]图9为长宽比示意图。
具体实施方式
[0039]本专利技术的专利技术思想为：目前卷积神经网络已经表现出对图像特征强大的学习和表达本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式平台的实时多目标编批方法，其适用的系统包括：智能处理板卡，跟踪器，以及主控；所述智能处理板卡与所述跟踪器进行信息交互；所述智能处理板卡用来检测视场内需要跟踪目标类型，并根据检测结果确定其空间位置；所述跟踪器用来对目标进行捕获和/或跟踪；所述主控用来选择和切换跟踪目标；其特征在于，该实时多目标编批方法包括以下步骤：步骤1：检测目标的空间位置信息；利用智能处理板卡进行跟踪类型目标检测，获取所有跟踪类型目标空间位置，同时根据检测结果完成待跟踪类型目标编批；步骤2：空间位置关联；智能处理板卡依次将当前帧的检测数据与已存在的目标队伍根据相关空间位置关联准则进行匹配关联；步骤3：身份信息更新；数据匹配关联后，智能处理板卡依次将当前帧的检测数据与目前存在的目标队伍进行匹配，根据匹配结果对目标队伍的信息进行更新；步骤4：板卡联动；智能处理板卡完成当前帧目标队伍编批更新后，跟踪器与智能处理板卡进行跟踪目标的信息交互，指导跟踪器跟踪过程，同时主控可以根据编批结果进行跟踪目标的选取切换。2.根据权利要求1所述的基于嵌入式平台的实时多目标编批方法，其特征在于，在步骤1中，所述智能处理板卡通过卷积神经网络完成...

【专利技术属性】
技术研发人员：王帅，江山，孙海江，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：