【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及目标追踪方法、装置、计算机设备、存储介质及程序产品。
技术介绍
1、随着社会经济的飞速发展和城市化进程的加快，人口密度急剧增长，社会公共安全问题日益凸显。因此，如何对重要机构和公共场所进行全天候实时监控，并自动发现可疑情况，对保障社会公共安全至关重要。
2、然而，在相关的视频监控方案中，监控系统的智能化水平仍处于较低水准，只具备一些初级的视频分析、处理功能，其中的各个摄像头之间相对独立，在面对动态场景下的复杂事件时缺乏全面的理解能力，无法有效感知存在安全隐患的违规事件并识别参与该违规事件的对象。
技术实现思路
1、有鉴于此，本专利技术提供了一种目标追踪方法、装置、计算机设备、存储介质及程序产品，以解决相关的视频监控方案在面对动态场景下的复杂事件时缺乏全面的理解能力，无法有效感知存在安全隐患的违规事件并识别参与该违规事件的对象的问题。
2、第一方面，本专利技术提供了一种目标追踪方法，其特征在于，该方法包括：
3、获取第一摄像装置采集的第一视频，并确定第一视频中的第一识别对象；
4、识别第一视频中的目标类型事件，并基于第一识别对象的对象特征确定与目标类型事件相匹配的目标对象；
5、基于目标对象在第一视频中的对象特征生成目标特征模板，并在第二视频的第二识别对象中确定对象特征与目标特征模板相匹配的目标对象，其中，第二视频为通过与第一摄像装置相关联的至少一个第二摄像装置采集的视频。
6、在
7、在第一视频的视频帧中截取目标对象对应的子图像；
8、基于子图像提取目标对象的对象特征，并根据对象特征生成目标对象的目标特征模板。
9、在本公开实施例中，考虑到传统的目标交接方法也大都使用外观模型进行目标匹配，而外观模型在面对目标对象运动轨迹杂乱及频繁遮挡等情况时性能下降。因此，本公开可以建立目标对象的目标特征模板，以根据该目标特征模板对第二视频中的目标对象进行追踪，从而实现了监控场景的目标鲁棒感知。
10、在一种可选的实施方式中，基于子图像提取目标对象的对象特征，并根据对象特征生成目标对象的目标特征模板，包括：
11、提取目标对象在多张子图像中的运动轨迹特征，并提取子图像的视觉特征，其中，视觉特征包括：颜色特征和/或纹理特征；
12、根据运动轨迹特征与对象特征确定目标对象的目标特征模板。
13、在本公开实施例中，考虑到传统的目标交接方法也大都使用外观模型进行目标匹配，而外观模型在面对目标对象运动轨迹杂乱及频繁遮挡等情况时性能下降。因此，本公开可以基于transformer-lstm网络的外观特征与运动轨迹特征联合表征的方式，寻求外观与轨迹模型的优势互补，从而克服遮挡等问题，以实现监控场景的目标鲁棒感知。
14、在一种可选的实施方式中，根据运动轨迹特征与对象特征确定目标对象的目标特征模板，包括：
15、对运动轨迹特征与对象特征进行融合，得到目标特征；
16、根据目标特征生成所述目标特征模板。
17、在本公开实施例中，考虑到传统的目标交接方法也大都使用外观模型进行目标匹配，而外观模型在面对目标对象运动轨迹杂乱及频繁遮挡等情况时性能下降。因此，本公开可以基于transformer-lstm网络的对象特征与运动轨迹特征联合表征的方式，寻求外观与轨迹模型的优势互补，从而克服遮挡等问题，以实现监控场景的目标鲁棒感知。
18、在一种可选的实施方式中，在第二视频的第二识别对象中确定特征向量与目标特征模板相匹配的目标对象，包括：
19、基于目标特征模板获取目标对象对应的目标特征，并基于第二视频提取第二识别对象的对象特征；
20、在第二识别对象中确定对象特征与目标特征的相似度满足相似条件的第三识别对象，并将第三识别对象确定为目标对象。
21、在本公开实施例中，考虑到传统的目标交接方法也大都使用外观模型进行目标匹配，而外观模型在面对目标对象运动轨迹杂乱及频繁遮挡等情况时性能下降。因此，本公开可以基于transformer-lstm网络的外观特征与运动轨迹特征联合表征的方式，寻求外观与轨迹模型的优势互补，从而克服遮挡等问题，以实现监控场景的目标鲁棒感知。
22、在一种可选的实施方式中，在第二识别对象中确定对象特征与目标特征的相似度满足相似条件的第三识别对象，并将第三识别对象确定为目标对象，包括：
23、通过孪生网络中的第一子网络对对象特征进行特征空间转换，得到对象特征向量，并通过孪生网络中的第二子网络对目标特征进行特征空间转换，得到目标特征向量；
24、计算对象特征向量与目标特征向量的差值绝对值，并对差值绝对值进行映射，得到映射值；
25、在第二识别对象中确定映射值满足相似条件的第三识别对象，并将第三识别对象确定为目标对象。
26、在本公开实施例中，考虑到传统的目标交接方法也大都使用外观模型进行目标匹配，而外观模型在面对目标对象运动轨迹杂乱及频繁遮挡等情况时性能下降。因此，本公开可以基于transformer-lstm网络的外观特征与运动轨迹特征联合表征的方式，寻求外观与轨迹模型的优势互补，从而克服遮挡等问题，以实现监控场景的目标鲁棒感知。
27、在一种可选的实施方式中，获取第一摄像装置采集的第一视频，并确定第一视频中的第一识别对象，包括：
28、获取第一视频中当前视频帧对应的点云数据，其中，点云数据为通过与第一摄像装置相关联的点云装置采集到的数据；
29、基于点云数据与当前视频帧进行融合，得到当前融合特征图，其中，当前融合特征图用于指示针对第一视频与对应的点云数据的特征图的融合结果；
30、基于当前融合特征图进行识别，得到当前视频帧中的第一识别对象的目标区域；
31、在第一视频的后续视频帧中识别与目标区域相匹配的第一识别对象，其中，后续视频帧为第一视频中对应的时间节点位于当前视频帧之后。
32、在本公开实施例中，考虑到第一视频中的视频帧为rgb（red green blue，值红绿蓝三颜色通道）图像，因此，可以基于该rgb图像与点云数据融合，并根据融合结果进行第一识别对象的识别，从而实现复杂光照条件场景中背景杂乱的多尺度物体的三维精准检测，并提高了对象识别的精度。
33、在一种可选的实施方式中，基于点云数据与当前视频帧进行融合，得到当前融合特征图，包括：
34、将点云数据与第一视频分别转化为对应的二维特征图；
35、对二维特征图的像素点进行加权求和，得到当前融合特征图。
36、在本公开实施例中，考虑到针对基于rgb图像的目标检测算法在场景光照复杂与目标尺度多变等情况下容易出现检测效果下降，因此，本公开对 rgb 图像与点云数据进行融合，以用于构建适用本文档来自技高网...
【技术保护点】
1.一种目标追踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象生成目标特征模板，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述子图像提取所述目标对象的对象特征，并根据所述对象特征生成所述目标对象的目标特征模板，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述运动轨迹特征与所述对象特征确定所述目标对象的目标特征模板，包括：
5.根据权利要求1所述的方法，其特征在于，所述在第二视频的第二识别对象中确定特征向量与所述目标特征模板相匹配的所述目标对象，包括：
6.根据权利要求5所述的方法，其特征在于，所述在所述第二识别对象中确定对象特征与所述目标特征的相似度满足相似条件的第三识别对象，并将所述第三识别对象确定为所述目标对象，包括：
7.根据权利要求1所述的方法，其特征在于，所述获取第一摄像装置采集的第一视频，并确定所述第一视频中的第一识别对象，包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述点云数据与所述当前视频
9.根据权利要求7所述的方法，其特征在于，所述基于所述当前融合特征图进行识别，得到所述当前视频帧中的第一识别对象的目标区域，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求7所述的方法，其特征在于，所述在所述第一视频的后续视频帧中识别与所述目标区域相匹配的第一识别对象，包括：
12.根据权利要求7所述的方法，其特征在于，所述方法还包括：
13.根据权利要求1所述的方法，其特征在于，所述识别所述第一视频中的目标类型事件，包括：
14.根据权利要求13所述的方法，其特征在于，所述根据所述语义推理网络进行迁移，得到目标推理网络，包括：
15.根据权利要求1所述的方法，其特征在于，所述基于所述第一识别对象的对象特征确定与所述目标类型事件相匹配的目标对象，包括：
16.根据权利要求15所述的方法，其特征在于，所述多模态数据包括：所述目标对象在所述第一视频的视频帧中对应的子图像，所述子图像对应的人体骨架序列，所述子图像的视觉特征信息，所述目标对象在所述子图像之间发生位置变动时的光流序列；
17.一种目标追踪装置，其特征在于，所述装置包括：
18.一种计算机设备，其特征在于，包括：
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至16中任一项所述的目标追踪方法。
20.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令用于使计算机执行权利要求1至16中任一项所述的目标追踪方法。
...【技术特征摘要】
1.一种目标追踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象生成目标特征模板，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述子图像提取所述目标对象的对象特征，并根据所述对象特征生成所述目标对象的目标特征模板，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述运动轨迹特征与所述对象特征确定所述目标对象的目标特征模板，包括：
5.根据权利要求1所述的方法，其特征在于，所述在第二视频的第二识别对象中确定特征向量与所述目标特征模板相匹配的所述目标对象，包括：
6.根据权利要求5所述的方法，其特征在于，所述在所述第二识别对象中确定对象特征与所述目标特征的相似度满足相似条件的第三识别对象，并将所述第三识别对象确定为所述目标对象，包括：
7.根据权利要求1所述的方法，其特征在于，所述获取第一摄像装置采集的第一视频，并确定所述第一视频中的第一识别对象，包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述点云数据与所述当前视频帧进行融合，得到当前融合特征图，包括：
9.根据权利要求7所述的方法，其特征在于，所述基于所述当前融合特征图进行识别，得到所述当前视频帧中的第一识别对象的目标区域，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包...
【专利技术属性】
技术研发人员：李南君，李拓，邹晓峰，王长红，李国庆，展永政，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。