目标跟踪方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了目标跟踪方法、装置、设备及介质，所述方法包括：输入或指定初始化的跟踪目标；调用可部署在NPU上进行模型推理的目标跟踪模型前向推理获得跟踪目标的跟踪结果；所述目标跟踪模型通过原始跟踪模型转换得到，具体包括将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络。本发明专利技术能够以较低成本满足高速场景下的实时跟踪需求。求。求。

【技术实现步骤摘要】
目标跟踪方法、装置、设备及介质


[0001]本专利技术属于图像处理
，尤其涉及目标跟踪方法、装置、设备及介质。

技术介绍

[0002]目标跟踪是计算机视觉领域很重要的一个任务，特别是在军事领域，现代战争中大量地应用目标跟踪实现战无人机、军舰等军用设备的检测跟踪；同样目标跟踪也应用于战场态势监控，包括海洋监控和领空监控，保护领土安全。目标跟踪的准确性与实时性对应用起着至关重要的作用。
[0003]常规的目标跟踪方法需要使用GPU设备进行人工智能模型推理，这样的方法面临着功耗大、设备昂贵的问题。

技术实现思路

[0004]本专利技术的目的在于，为克服现有技术缺陷，提供了目标跟踪方法、装置、设备及介质,能够应用于轻量级装置，实现140FPS的跟踪速度。
[0005]本专利技术目的通过下述技术方案来实现：
[0006]一种目标跟踪方法，所述方法包括：
[0007]输入或指定初始化的跟踪目标；
[0008]调用可部署在NPU上进行模型推理的目标跟踪模型前向推理获得跟踪目标的跟踪结果；
[0009]所述目标跟踪模型通过原始跟踪模型转换得到，具体包括将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络。
[0010]进一步的，所述前向推理具体包括：
[0011]对跟踪目标的跟踪模板进行特征提取；
[0012]由目标跟踪模型对后续图像帧进行特征提取；
[0013]融合模板特征与图像特征得到推理结果。
[0014]进一步的，所述原始跟踪模型的训练方式包括：
[0015]对目的数据集进行边框信息标注；
[0016]使用标注的数据做离线训练；
[0017]所述原始跟踪模型的特征提取网络包括MobileNetV3模型。
[0018]进一步的，所述原始跟踪模型的特征提取网络中卷积的输出通道为3的倍数。
[0019]进一步的，所述将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络具体包括：
[0020]将跟踪目标的模板特征提取网络输入和输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式；
[0021]将待跟踪图像帧的图像特征提取网络的输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式；
[0022]将提取的模板特征与图像特征的互相关网络的输入和输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式。
[0023]进一步的，所述跟踪目标的模板特征提取网络的输入尺寸为
[0024][1,127,127,3],模型数据格式为NHWC,数据类型为uint8；输出的模板特征尺寸为[1,48,8,8],数据格式为NCHW,数据类型为float32；
[0025]所述待跟踪图像帧的图像特征提取网络的图像输出尺寸为
[0026][1,255,255,3],模型数据格式为NHWC,数据类型为uint8；输出的模板特征尺寸为[1,48,16,16],数据格式为NCHW,数据类型为float32；
[0027]所述提取的模板特征与图像特征的互相关网络的输入尺寸为
[0028][1,8,8,48]和[1,16,16,48]，模型数据格式为NHWC,数据类型为float32；输出尺寸为[1,2,16,16]和[1,4,16,16]，数据格式为NCHW,数据类型为float32。
[0029]进一步的，所述方法还包括在目标跟踪模型通过原始跟踪模型转换得到的过程中使用非对称量化，将浮点模型化为定点模型；
[0030]非对称量化具体包括：
[0031]将float32的浮点张量转化为8位无符号整型张量，如下公式所示：
[0032][0033]其中，min和max表示参数中的最小值和最大值，x
f
表示float32类型的数据，n表示量化数据得比特位数，round表示对计算后的参数做取整操作，x
q
代表最终量化出来得参数值。
[0034]另一方面，本专利技术还提供了一种目标跟踪装置，所述装置包括：
[0035]目标选定模块，所述目标选定模块用于输入或指定初始化的跟踪目标；
[0036]目标跟踪模块，所述目标跟踪模块调用可部署在NPU上进行模型推理的目标跟踪模型前向推理获得跟踪目标的跟踪结果；
[0037]所述目标跟踪模型通过原始跟踪模型转换得到，具体包括将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络。
[0038]另一方面，本专利技术还提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述的任意一种目标跟踪方法。
[0039]另一方面，本专利技术还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述的任意一种目标跟踪方法。
[0040]本专利技术的有益效果在于：
[0041](1)本专利技术轻量化后的实时目标跟踪模型参数量更小，目标跟踪的速度大大提升，可以达到140FPS跟踪速度，满足高速场景下的实时跟踪需求。
[0042](2)本专利技术能够通过成本较低的NPU设备来完成目标检测与跟踪的任务，无需配置高能耗且昂贵的GPU显卡即可实现快速稳定的跟踪。
附图说明
[0043]图1是本专利技术实施例提供的目标跟踪方法流程示意图；
[0044]图2是本专利技术实施例推理流程示意图；
[0045]图3是本专利技术实施例跟踪结果展示图；
[0046]图4是本专利技术实施例提供的目标跟踪装置结构框图。
具体实施方式
[0047]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0048]基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0049]常规的目标跟踪方法需要使用GPU设备进行人工智能模型推理，这样的方法面临着功耗大、设备昂贵的问题。
[0050]为了解决上述技术问题，提出了本专利技术目标跟踪方法、装置、设备及介质的下述各个实施例。
[0051]实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述方法包括：输入或指定初始化的跟踪目标；调用可部署在NPU上进行模型推理的目标跟踪模型前向推理获得跟踪目标的跟踪结果；所述目标跟踪模型通过原始跟踪模型转换得到，具体包括将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络。2.如权利要求1所述的目标跟踪方法，其特征在于，所述前向推理具体包括：对跟踪目标的跟踪模板进行特征提取；由目标跟踪模型对后续图像帧进行特征提取；融合模板特征与图像特征得到推理结果。3.如权利要求1所述的目标跟踪方法，其特征在于，所述原始跟踪模型的训练方式包括：对目的数据集进行边框信息标注；使用标注的数据做离线训练；所述原始跟踪模型的特征提取网络包括MobileNetV3模型。4.如权利要求3所述的目标跟踪方法，其特征在于，所述原始跟踪模型的特征提取网络中卷积的输出通道为3的倍数。5.如权利要求1所述的目标跟踪方法，其特征在于，所述将原始跟踪模型的跟踪目标的模板特征提取网络、待跟踪图像帧的图像特征提取网络和提取的模板特征与图像特征的互相关网络转换为可部署在NPU上进行模型推理的网络具体包括：将跟踪目标的模板特征提取网络输入和输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式；将待跟踪图像帧的图像特征提取网络的输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式；将提取的模板特征与图像特征的互相关网络的输入和输出的尺寸、模型数据格式以及数据类型转换为可部署在NPU上进行模型推理的网络所匹配的形式。6.如权利要求5所述的目标跟踪方法，其特征在于，所述跟踪目标的模板特征提取网络的输入尺寸为[1,127,127,3],模型数据格式为NHWC,数据类型为uint8；输出的模板特征尺寸为[1,48,8,8],数据格式为NCHW,数据类型为float32；所述待跟踪图像...

【专利技术属性】
技术研发人员：武春风，向文鼎，吴丰阳，陈善球，韩璇，王勋，董理治，马社，
申请(专利权)人：航天科工微电子系统研究院有限公司，
类型：发明
国别省市：