【技术实现步骤摘要】
本专利技术涉及人工智能领域，特别涉及一种目标跟踪方法、装置、电子设备、程序产品和介质。
技术介绍
1、相关技术中，端到端检测是解决多目标跟踪问题的一种基本范式，这种方式可将检测和跟踪融为一体，并且能够学习建模目标对象的长期时间变化，隐式地进行时间关联，有利于跟踪系统整体性能的提升。然而在相关端到端检测方案中，一般使用视觉图像特征进行检测跟踪，而视觉图像特征容易受尺度变化、形变、光照变化等噪声影响，进而容易导致跟踪性能降低。
技术实现思路
1、本专利技术的目的是提供一种目标跟踪方法、装置、电子设备、程序产品和介质，可通过将文本特征与图像特征进行融合的方式改进跟踪检测，以提升目标跟踪性能。
2、为解决上述技术问题，本专利技术提供一种目标跟踪方法，包括：
3、获取待检测图像的全局图像特征、与待跟踪对象对应的类别描述文本、检测序列向量和跟踪序列向量；检测序列向量记录有待跟踪对象的检测信息，跟踪序列向量记录有已跟踪对象的图像特征；
4、将类别描述文本与检测序列向量融合为增强检测序列向量；
5、利用预训练解码器对全局图像特征、增强检测序列向量、跟踪序列向量共同进行解码处理，得到待跟踪对象在待检测图像中的追踪信息；追踪信息至少包括位置信息和图像特征；
6、利用追踪信息对跟踪序列向量进行更新，并利用预训练特征交互器、与待跟踪对象对应的属性描述文本对更新的跟踪序列向量进行增强处理，以利用增强的跟踪序列向量继续进行目标跟踪。
7、
8、对类别描述文本进行编码处理，得到类别描述文本向量；
9、将类别描述文本向量与检测序列向量进行拼接，并对拼接结果依次进行线性变换处理和归一化处理，得到增强检测序列向量。
10、可选地，预训练特征交互器包含第一映射单元、第二映射单元、预训练文本特征、预训练图像特征；
11、利用预训练特征交互器、与待跟踪对象对应的属性描述文本对更新的跟踪序列向量进行增强处理，包括：
12、获取文本特征，并从跟踪序列向量中提取已跟踪对象的图像特征；其中，文本特征利用属性描述文本生成；
13、利用第一映射单元将预训练文本特征投影为映射图像特征，利用第二映射单元将预训练图像特征投影为映射文本特征；
14、将文本特征、预训练文本特征、映射文本特征进行融合得到融合文本特征，并利用预训练文本-图像对比学习模型对融合文本特征进行编码，得到编码文本特征；
15、将图像特征、预训练图像特征、映射图像特征进行融合得到融合图像特征，并利用预训练文本-图像对比学习模型对融合图像特征进行编码，得到编码图像特征；
16、对编码文本特征和编码图像特征进行跨注意力机制处理，得到增强的跟踪序列向量。
17、可选地，第一映射单元、第二映射单元均为多层感知机。
18、可选地，获取文本特征，包括：
19、根据类别描述文本，在跟踪文本提示库中获取与类别描述文本对应类别的文本特征；跟踪文本提示库包含各种待跟踪对象对应的文本特征。
20、可选地，还包括：
21、获取待跟踪对象对应的属性描述文本；
22、将属性描述文本进行编码处理，得到文本特征；
23、将文本特征与待跟踪对象的类别建立对应关系，并将对应关系保存至跟踪文本提示库。
24、可选地，预训练特征交互器包含第一映射单元、预训练文本特征；
25、利用预训练特征交互器、与待跟踪对象对应的属性描述文本对更新的跟踪序列向量进行增强处理，包括：
26、获取文本特征，并从跟踪序列向量中提取已跟踪对象的图像特征；其中，文本特征利用属性描述文本生成；
27、利用第一映射单元将预训练文本特征投影为映射图像特征；
28、将文本特征、预训练文本特征进行融合得到融合文本特征，并利用预训练文本-图像对比学习模型对融合文本特征进行编码，得到编码文本特征；
29、将图像特征、映射图像特征进行融合得到融合图像特征，并利用预训练文本-图像对比学习模型对融合图像特征进行编码，得到编码图像特征；
30、对编码文本特征和编码图像特征进行跨注意力机制处理，得到增强的跟踪序列向量。
31、可选地，预训练特征交互器包含第二映射单元、预训练图像特征；
32、利用预训练特征交互器、与待跟踪对象对应的属性描述文本对更新的跟踪序列向量进行增强处理，包括：
33、获取文本特征，并从跟踪序列向量中提取已跟踪对象的图像特征；其中，文本特征利用属性描述文本生成；
34、利用第二映射单元将预训练图像特征投影为映射文本特征；
35、将文本特征、映射文本特征进行融合得到融合文本特征，并利用预训练文本-图像对比学习模型对融合文本特征进行编码，得到编码文本特征；
36、将图像特征、预训练图像特征进行融合得到融合图像特征，并利用预训练文本-图像对比学习模型对融合图像特征进行编码，得到编码图像特征；
37、对编码文本特征和编码图像特征进行跨注意力机制处理，得到增强的跟踪序列向量。
38、可选地，获取待检测图像的全局图像特征，包括：
39、利用预训练卷积神经网络模型对待检测图像进行特征提取，得到初级图像特征；
40、根据初级图像特征在待检测图像中对应的空间位置，对初级图像特征进行空间位置编码，得到已编码初级图像特征；
41、将已编码初级图像特征作为第一键值和第一查询值、将初级图像特征作为第一数值，利用预训练图像特征编码器对第一键值、第一查询值和第一数值进行自注意力机制处理得到第一处理结果，并利用预训练图像特征编码器并对第一处理结果进行前向传播计算得到全局图像特征。
42、可选地，利用预训练解码器对全局图像特征、增强检测序列向量、跟踪序列向量共同进行解码处理，得到待跟踪对象在待检测图像中的追踪信息，包括：
43、将增强检测序列向量和跟踪序列向量进行拼接，得到对象序列向量；
44、根据全局图像特征在待检测图像中对应的空间位置，对全局图像特征进行空间位置编码得到已编码全局图像特征；
45、利用预训练解码器对对象序列向量进行自注意力机制处理得到第二处理结果；
46、将第二处理结果、已编码全局图像特征和全局图像特征依次作为第二查询值、第二键值和第二数值，利用预训练解码器对第二查询值、第二键值和第二数值进行注意力机制处理得到第三处理结果，并利用预训练解码器对第三处理结果进行前向传播计算得到追踪信息。
47、可选地，追踪信息还包括待跟踪对象的跟踪状态类别、与跟踪状态类别对应的置信度；
48、利用追踪信息对跟踪序列向量进行更新，包括：
49、若根据所述跟踪状态类别确定所述待跟踪对象属本文档来自技高网...
【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的目标跟踪方法，其特征在于，将所述类别描述文本与所述检测序列向量融合为增强检测序列向量，包括：
3.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第一映射单元、第二映射单元、预训练文本特征、预训练图像特征；
4.根据权利要求3所述的目标跟踪方法，其特征在于，所述第一映射单元、第二映射单元均为多层感知机。
5.根据权利要求3所述的目标跟踪方法，其特征在于，获取文本特征，包括：
6.根据权利要求5所述的目标跟踪方法，其特征在于，还包括：
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第一映射单元、预训练文本特征；
8.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第二映射单元、预训练图像特征；
9.根据权利要求1所述的目标跟踪方法，其特征在于，获取待检测图像的全局图像特征，包括：
10.根据权利要求1所述的目标跟踪方法，其特征在于，利用预训
11.根据权利要求1所述的目标跟踪方法，其特征在于，所述追踪信息还包括所述待跟踪对象的跟踪状态类别、与所述跟踪状态类别对应的置信度；
12.根据权利要求1至11任一项所述的目标跟踪方法，其特征在于，还包括：
13.一种目标跟踪装置，其特征在于，包括：
14.一种电子设备，其特征在于，包括：
15.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至12任一项所述的目标跟踪方法。
16.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至12任一项所述的目标跟踪方法。
...【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的目标跟踪方法，其特征在于，将所述类别描述文本与所述检测序列向量融合为增强检测序列向量，包括：
3.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第一映射单元、第二映射单元、预训练文本特征、预训练图像特征；
4.根据权利要求3所述的目标跟踪方法，其特征在于，所述第一映射单元、第二映射单元均为多层感知机。
5.根据权利要求3所述的目标跟踪方法，其特征在于，获取文本特征，包括：
6.根据权利要求5所述的目标跟踪方法，其特征在于，还包括：
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第一映射单元、预训练文本特征；
8.根据权利要求1所述的目标跟踪方法，其特征在于，所述预训练特征交互器包含第二映射单元、预训练图像特征；
9.根据权利要求1所述的目标跟踪方法，其特征在于，获取待检测图像的全局图像特征，包括：...
【专利技术属性】
技术研发人员：梁玲燕，董刚，温东超，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。