【技术实现步骤摘要】
本公开涉及目标跟踪领域，具体为基于孪生网络融合lbp与注意力的多特征目标跟踪方法。
技术介绍
1、此部分的陈述仅仅提供与本公开有关的
技术介绍
信息，并且这些陈述可能构成现有技术。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题。
2、目标跟踪是机器视觉领域中重要的研究课题之一，具有实际的应用价值与巨大的发展潜力，其广泛应用于军事设备、智慧医疗、智能机器人以及无人驾驶等领域。目标跟踪的目的是预测给定目标在每一帧视频中的位置和形状，在已知第一帧目标物体的位置和尺度信息的情况下，在其跟踪过程中需要将视频中的背景和其他干扰信息与目标区分开并完成对目标对象的标注，然后对该目标在后续视频帧中进行持续的定位和尺度估计。
3、现如今，随着深度学习技术的发展，卷积神经网络的方法被广泛应用，基于深度学习的目标跟踪技术也逐渐成为了研究热点。基于siamese网络(孪生网络)的目标跟踪方法是典型的利用数据集对跟踪器进行端到端的训练，将目标跟踪任务转化为相似度匹配任务。孪生网络的两个分支，分别输入视频第一帧的模板图像和当前帧的搜索图像。
4、基于孪生网络的目标追踪器可以克服其他深度学习网络一个重要缺点，即当用预训练网络来提取特征时导致网络速度非常慢的问题。孪生网络在具有较快速度的同时也有较强的跟踪性能，因此，本文也是基于该类目标追踪器开展研究。
5、siamese虽然可以利用基于深度学习的模型在视觉目标跟踪中实现跟踪精度和速度之间的平衡，但是其在光照影响的情况下，目标图像会因出现过度曝光而易损
6、一般的目标跟踪网络模型都是采用传统的手工特征提取方式或者只使用深层特征对目标进行特征提取，忽略了图像局部纹理特征和浅层特征对目标跟踪的影响。如申请号202310060920.1专利名称为“基于深度光谱级联纹理特征的高光谱视频目标跟踪方法”，其将深度特征与光谱级联纹理预测特征融合，虽然在一定程度上克服了光照变换的影响来区分目标与背景，但仍不能解决单一提取的深度特征在环境中跟踪准确率和鲁棒性不高的问题。并且依旧不能避免视觉目标跟踪技术普遍面临的主要问题。
7、为了解决单一提取深度特征的缺陷，申请号202311662185.8专利名称为“一种结合注意力机制和加权响应的单目标”采用了残差语义嵌入模块，自适应地将深层语义信息引入浅层特征，然后将浅层特征响应和深层特征响应进行加权融合，以试图解决跟踪过程容易出现漂移或者跟踪丢失的问题。虽然该方法在提取特征时将浅层特征考虑在内，试图通过提取浅层特征来便于进行目标和背景的区分以及目标和相似干扰物的判辨，但申请人经实验发现，其由于存在过度曝光易损失目标图像特征点、图像局部纹理特征不清晰、易把相似度较高的背景信息进行特征提取、目标物体出现变形等缘故，网络模型仍然不能较好地提取目标特征，易损失重要特征点。加之位置信息容易丢失，其跟踪准确率和鲁棒性仍然不高。
8、虽然也有少量专利通过通道注意力模块和空间注意力模块来考虑了通道和空间位置信息，但使用大规模池化方式更容易导致图像帧中的位置信息丢失。
技术实现思路
1、针对上述问题，本专利技术的目的在于解决现有技术中的一部分问题，或至少缓解这些问题。
2、基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，包括以下步骤：
3、构建融合lbp特征的孪生网络，一条分支用于输入模板图像，另一条分支用于输入搜索图像；
4、在视频预处理之后，将获得的模板图像和搜索图像分别输入孪生网络的对应分支进行lbp特征提取，得到两分支的局部二值图；
5、将局部二值图进行浅深层特征提取，并进行特征融合，分别得到两个分支的融合后的特征图；
6、将两个分支的融合后的特征图送入rpn网络执行相关操作，对最后的输出进行加权融合,得到分类分支和回归分支的输出；
7、根据分类分支和回归分支的输出完成对目标物体的追踪，最终输出目标的位置。
8、所述孪生网络选用resnest(具有分裂变换器的残差神经网络)作为骨干网络，删除网络最后的全连接层。
9、所述lbp特征提取采用的lbp算子允许在半径为r的圆形邻域内有任意多个像素点，表示为数学公式：
10、
11、其中，p表示圆形区域中总计p个采样点中的第p个采样点；i(c)表示中心像素的灰度值，i(p)表示圆形边界像素点中第p个点的灰度值；总共有p个点在圆形边界上，xc表示中心像素的横坐标，yc表示中心像素的纵坐标，这些点的坐标如下：
12、
13、s(x)公式与原始lbp中的一样，公式如下：
14、
15、将局部二值图进行浅深层特征提取，并进行特征融合，包括以下步骤：
16、将经过lbp特征提取后的图像输入孪生网络进行特征提取；
17、将孪生网络中提取到的浅层特征和深层特征利用跳跃连接的方法进行连接；
18、所述浅层网络信息通过max pooling(最大池化)和1×1卷积模块后与所述深层网络信息进行特征融合。
19、进一步的，所述孪生网络的每个卷积层后引入协调注意力模块，对卷积层给定的输入数据进行协调注意力，以关联卷积核之间的通道和空间的特征信息。
20、进一步的，所述协调注意力，包括坐标信息嵌入和坐标注意力生成两个步骤；所述坐标信息嵌入，用于在水平和垂直坐标中对通道信息进行编码；所述坐标注意力生成，用于捕获位置信息并生成权重值。
21、进一步的，对卷积层的数据进行协调注意力，包括如下步骤：
22、根据卷积层给定的输入x，针对每个通道，使用尺寸为(h,1)或(1,w)的池化核分别沿水平和垂直方向进行编码，分别得到第c个通道在高度h和宽度w处的编码特征和
23、
24、式中，h是x的高度；w是x的宽度；xc(h,i)表示在第c个通道中的位置(h,i),xc(j,w)表示在第c个通道中的位置(j,w)；
25、将两个编码特征和在空间维度上连接，使其长度变为(h+w)，并利用共享的卷积变换函数f1进行处理，得到中间特征映射f：
26、f＝δ(f1([zh,zw])) (6)
27、其中，[zh,zw]表示在空间维度上的串联操作，δ是一个非线性激活函数，f是对空间信息进行水平和垂直方向编码的中间特征映射；
28、将f沿着空间维数分解为2个单独的张量fh和fw；
29、利用2个卷积变换，分别将fh和fw变换为具有与输入x相本文档来自技高网...
【技术保护点】
1.基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，所述孪生网络选用ResNeSt(具有分裂变换器的残差神经网络)作为骨干网络，删除网络最后的全连接层。
3.根据权利要求1所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，所述LBP特征提取采用的LBP算子允许在半径为R的圆形邻域内有任意多个像素点，表示为数学公式：
4.根据权利要求1所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，将局部二值图进行浅深层特征提取，并进行特征融合，包括以下步骤：
5.根据权利要求4所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，所述孪生网络的每个卷积层后引入协调注意力模块，对卷积层给定的输入数据进行协调注意力，以关联卷积核之间的通道和空间的特征信息。
6.根据权利要求5所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，所述协调注意力，包括坐
7.根据权利要求6所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，对卷积层的数据进行协调注意力，包括如下步骤：
8.根据权利要求1所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法，其特征在于，所述相关操作为交叉卷积操作；将两个分支分别得到的融合后的特征图送入RPN网络执行相关操作，包括以下步骤：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的基于孪生网络融合LBP与注意力的多特征目标跟踪方法的步骤。
...【技术特征摘要】
1.基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，所述孪生网络选用resnest(具有分裂变换器的残差神经网络)作为骨干网络，删除网络最后的全连接层。
3.根据权利要求1所述的基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，所述lbp特征提取采用的lbp算子允许在半径为r的圆形邻域内有任意多个像素点，表示为数学公式：
4.根据权利要求1所述的基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，将局部二值图进行浅深层特征提取，并进行特征融合，包括以下步骤：
5.根据权利要求4所述的基于孪生网络融合lbp与注意力的多特征目标跟踪方法，其特征在于，所述孪生网络的每个卷积层后引入协调注意力模块，对卷积层给定的输入数据进行协调注意力，以关联卷积核...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。