基于类脑记忆网络的目标运动跟踪方法技术

本发明专利技术公开了一种基于类脑记忆网络的目标运动跟踪方法，属于目标跟踪技术领域。技术方案要点为：在主干特征提取网络VGG16输出特征分支之后，构建了类脑长期记忆网络。类脑长期记忆网络由长短期记忆网络和注意力驱动模块构成，首先构建长期记忆机制，从时间和空间两个维度上探索目标外观变化，有效的维持目标信息。同时，利用注意力驱动模块加强记忆中目标相关的信息，减少跟踪器对场景信息的依赖，得到类脑长期记忆模型，提高响应图的可靠性，实现精准的目标定位，然后通过设计的阈值评估当前跟踪结果的准确性，保证记忆更新的稳定性，提高模型对目标变化的鲁棒性，从而提升跟踪算法对目标形变等挑战的适应能力。踪算法对目标形变等挑战的适应能力。踪算法对目标形变等挑战的适应能力。

【技术实现步骤摘要】
基于类脑记忆网络的目标运动跟踪方法


[0001]本专利技术涉及目标跟踪
，尤其涉及一种基于类脑记忆网络的目标运动跟踪方法。

技术介绍

[0002]视觉目标跟踪是在初始帧给定目标状态下，对视频序列中任意对象进行定位及尺度估计的任务。同时目标跟踪被广泛应用于计算机视觉任务中，如自动驾驶，视频监控等。虽然一些跟踪器在近几年表现出优异的跟踪性能，但是由于剧烈形变，光照变化和遮挡等挑战的存在，视觉目标跟踪仍然是计算机视觉中的一个重要研究课题。
[0003]近年来，记忆机制因其能够利用前文中目标信息，为跟踪器带来较高的鲁棒性而受到跟踪任务的关注。尽管这些跟踪器尽力从记忆机制中获取目标信息，但在复杂的环境中仍然存在跟踪失败的情况。这主要是因为没有对记忆内容进行挖掘，记忆表达能力有限。另外，在跟踪过程中，目标状态随时间一直在改变，没有有效且及时的更新记忆内容，也将会导致跟踪器无法精确预测目标位置。当发生剧烈形变及背景杂乱时，简单的记忆存储机制仅仅保存了之前目标出现过的状态，没有对记忆中目标本质不变属性特征进行挖掘，因此不能够有效区分目标与周围背景信息，导致跟踪漂移，甚至跟踪失败。
[0004]因此，有必要提出一种能够挖掘目标本质属性记忆，减少跟踪器对场景信息的依赖，有效突出目标的类脑长期记忆的目标跟踪方法。

技术实现思路

[0005]针对上述
技术介绍
中存在的不足，本专利技术提出了一种基于类脑记忆网络的目标运动跟踪方法，以提高跟踪算法的鲁棒性，用于解决传统记忆相关跟踪算法无法获得目标本质记忆，难以有效提高跟踪对目标外观变化适应性的问题。
[0006]本专利技术的技术方案是这样实现的：
[0007]一种基于类脑记忆网络的目标运动跟踪方法，包括以下步骤：
[0008]S1、根据初始帧图像及目标初始真实位置信息，利用VGG16主干网络提取目标特征信息，在线训练长期记忆网络，在类脑长期记忆网络中存储目标真实状态；
[0009]S2、读取下一帧图像，利用VGG16主干网络提取当前图像特征；
[0010]S3、将当前帧特征信息输入类脑长期记忆网络中，结合之前记忆内容，利用注意力驱动模块对目标信息进行挖掘，预测目标位置；
[0011]S4、判断当前跟踪结果置信度是否大于稳定阈值，若是，执行步骤S5，否则，返回步骤S2，直至视频序列结束；
[0012]S5、将跟踪结果截取目标图像，利用VGG16主干网络提取目标特征信息，将提取到的目标特征写入记忆内存中，利用记忆内存中目标特征信息，在线更新类脑长期跟踪网络。
[0013]进一步地，在步骤S3中，注意力驱动模块对目标信息挖掘过程为：
[0014][0015]其中代表点乘，代表通道空间注意力机制，s
t
代表遗忘门输出的记忆知识，u
t
为当前输入中表示目标的记忆内容，c
t
为记忆状态，用来储存先前目标信息的长期记忆。
[0016]进一步地，在步骤S3中，注意驱动模块中目标记忆挖掘过程如下：
[0017]S3.1、将两部分记忆内容融合，获取全面的记忆，融合后的记忆信息表示为：
[0018]F＝s
t
+u
t
[0019]S3.2、从通道上对目标记忆内容进行挖掘，通道注意力表示如下：
[0020]M
c
(F)＝σ(MLP(Avgpool(F))+MLP(Maxpool(F)))
[0021]其中，F表示融合后的记忆信息，Avgpool()表示全局平均池化，Maxpool()表示全局最大池化，MLP表示一个共享的多层感知机网络中产生最终的通道注意力特征图，σ表示Sigmoid函数；
[0022]S3.3、然后获取经过通道注意力挖掘的记忆信息：
[0023][0024]其中F
′
为经过通道注意力加强的记忆信息，M
c
(F)为通道注意力特征图；
[0025]S3.4、接下来从空间维度对目标记忆内容进行探索，空间注意力表示如下：
[0026]M
s
(F
′
)＝σ(f7×7([Avgpool(F
′
)；Maxpool(F
′
)]))
[0027]其中，f7×7为大小为7的卷积运算，M
s
(F
′
)为空间注意力特征图；
[0028]S3.5、最后将空间注意力特征图M
s
(F
′
)与经过通道注意力加强的记忆信息F
′
相乘，即可完成注意驱动模块对记忆内容的探索，得到最终的输出
[0029][0030]进一步地，在步骤S5中，在线训练过程中损失函数为：
[0031][0032]其中exp(Y
i
)为软标签的值，代表样本的难易程度，β
i
为梯度协调因子，N为样本数量，di为输出和标签间的差值。
[0033]与现有技术相比，本专利技术的有益效果是：
[0034]本专利技术利用注意力驱动模块以及之前记忆内容挖掘能够表达目标本质属性的特征信息，从时间和空间两个维度上探索目标外观变化，减少跟踪器对场景信息的依赖，提高响应图的可靠性，实现精准的目标定位。然后通过设计的阈值评估当前跟踪结果的准确性，保证记忆更新的稳定性，提高模型对目标变化的鲁棒性，从而提升跟踪算法对目标形变等挑战的适应能力。
附图说明
[0035]为了更清楚地说明本专利技术实施例的技术方案，以下将对实施例描述中所需要使用的附图作简单地介绍。
[0036]图1为本专利技术的基于类脑记忆网络的目标运动跟踪方法流程图；
[0037]图2为本专利技术类脑记忆网络与长短期记忆网络效果比较示意图；其中第一行为长短期记忆网络效果图，第二行为类脑记忆网络效果图；
[0038]图3为本专利技术与其他算法在OTB
‑
50、OTB
‑
100数据集上比较示意图；
[0039]图4为本专利技术与其他算法的跟踪效果示意图。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]如图1所示，一种基于类脑记忆网络的目标运动跟踪方法，包括以下步骤：
[0042]S1、根据初始帧图像及目标初始真实位置信息，利用VGG16主干网络提取目标特征信息，在线训练长期记忆网络，在类脑长期记忆网络中存储目标真实状态；
[0043]S2、读取下一帧图像，利用VGG16主干网络提取当前图像特征；
[0044]S3、将当前帧特征信息输入类脑长期记忆网络中，结合之前记忆内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类脑记忆网络的目标运动跟踪方法，其特征在于，包括以下步骤：S1、根据初始帧图像及目标初始真实位置信息，利用VGG16主干网络提取目标特征信息，在线训练长期记忆网络，在类脑长期记忆网络中存储目标真实状态；S2、读取下一帧图像，利用VGG16主干网络提取当前图像特征；S3、将当前帧特征信息输入类脑长期记忆网络中，结合之前记忆内容，利用注意力驱动模块对目标信息进行挖掘，预测目标位置；S4、判断当前跟踪结果置信度是否大于稳定阈值，若是，执行步骤S5，否则，返回步骤S2，直至视频序列结束；S5、将跟踪结果截取目标图像，利用VGG16主干网络提取目标特征信息，将提取到的目标特征写入记忆内存中，利用记忆内存中目标特征信息，在线更新类脑长期跟踪网络。2.根据权利要求1所述的基于类脑记忆网络的目标运动跟踪方法，其特征在于，在步骤S3中，注意力驱动模块对目标信息挖掘过程为：其中代表点乘，代表通道空间注意力机制，s
t
代表遗忘门输出的记忆知识，u
t
为当前输入中表示目标的记忆内容，c
t
为记忆状态，用来储存先前目标信息的长期记忆。3.根据权利要求1所述的基于类脑记忆网络的目标运动跟踪方法，其特征在于，在步骤S3中，注意驱动模块中目标记忆挖掘过程如下：S3.1、将两部分记忆内容融合，获取全面的记忆，融合后的记忆信息表示为：F＝s
t
+u
t
S3.2、从通道上对目标记忆内容进行挖掘，通道注意力表示如下：M
c
(F)＝σ(MLP(Avgpoo...

【专利技术属性】
技术研发人员：张焕龙，赵彦春，梁佳美，张家鹏，朱林威，齐锐，王勇，沈冯立，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：