目标跟踪方法、装置及存储介质制造方法及图纸

本公开涉及一种目标跟踪方法、装置及存储介质，所述方法包括：获取图像采集序列；对图像采集序列中的第一图像进行对象检测，得到第一图像上的对象在目标三维空间中的3D检测框以及在第一图像上的2D检测框，第一图像为图像采集序列中的除首张图像以外的任一图像；根据针对第二图像对目标对象进行跟踪的跟踪结果，预测目标对象在目标三维空间中的3D预测框以及在第一图像上的2D预测框，第二图像是第一图像在图像采集序列中的上一图像；根据3D检测框、2D检测框、3D预测框以及2D预测框，确定针对第一图像对目标对象进行跟踪的跟踪结果。通过本公开的目标跟踪方法，可以提高目标对象的跟踪准确度。准确度。准确度。

【技术实现步骤摘要】
目标跟踪方法、装置及存储介质


[0001]本公开涉及计算机视觉
，尤其涉及一种目标跟踪方法、装置及存储介质。

技术介绍

[0002]目标跟踪是通过给定一个图像序列，找到图像序列中的目标，将不同帧的同一目标进行识别，并为不同帧的同一目标赋予ID。相关技术中，通常根据2D信息进行目标跟踪，然而，仅利用2D信息难以对目标进行准确的运动估计，导致出现错误跟踪的情况。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种目标跟踪方法、装置及存储介质。
[0004]根据本公开实施例的第一方面，提供一种目标跟踪方法，包括：
[0005]获取图像采集序列，所述图像采集序列是根据图像采集设备在多个采集时刻的采集图像得到的；
[0006]对所述图像采集序列中的第一图像进行对象检测，得到所述第一图像上的对象在目标三维空间中的3D检测框以及在所述第一图像上的2D检测框，所述第一图像为所述图像采集序列中的除首张图像以外的任一图像；
[0007]根据针对第二图像对目标对象进行跟踪的跟踪结果，预测所述目标对象在所述目标三维空间中的3D预测框以及在所述第一图像上的2D预测框，所述第二图像是所述第一图像在所述图像采集序列中的上一图像；
[0008]根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果。
[0009]在一些实施例中，所述根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果，包括：
[0010]根据所述3D预测框和每一所述3D检测框之间的第一交并比值和/或距离值，从各所述3D检测框中确定与所述3D预测框匹配的目标3D检测框；
[0011]将所述目标三维空间中对应所述目标3D检测框的对象作为所述目标对象，并将所述目标3D检测框在所述目标三维空间中的位置信息作为所述目标对象的3D跟踪位置信息，所述跟踪结果包括所述3D跟踪位置信息。
[0012]在一些实施例中，所述根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果，还包括：
[0013]针对各所述3D检测框中未匹配到所述3D预测框的3D检测框，确定与该3D检测框对应同一对象的2D检测框，并根据该2D检测框与所述2D预测框之间的第二交并比值，确定与所述2D预测框匹配的目标2D检测框；
[0014]将所述第一图像上对应所述目标2D检测框的对象作为所述目标对象，并将所述目标2D检测框在所述第一图像上的位置信息作为所述目标对象的2D跟踪位置信息，所述跟踪结果包括所述2D跟踪位置信息。
[0015]在一些实施例中，所述跟踪结果包括所述目标对象对应所述第二图像的3D跟踪位置信息、2D跟踪位置信息以及所述目标对象的运动数据；
[0016]所述根据针对第二图像对目标对象进行跟踪的跟踪结果，预测所述目标对象在所述三维空间中的3D预测框以及在所述第一图像上的2D预测框，包括：
[0017]根据所述运动数据更新跟踪器；
[0018]将所述3D跟踪位置信息和2D跟踪位置信息输入到更新后的跟踪器中，得到所述跟踪器输出的所述3D预测框以及所述2D预测框。
[0019]在一些实施例中，所述运动数据包括所述目标对象在图像上的位置变化率，以及所述目标对象在所述目标三维空间中的速度以及加速度；
[0020]所述跟踪器能够基于所述位置变化率以及所述2D跟踪位置信息输出所述2D预测框，以及基于所述速度、所述加速度以及所述3D跟踪位置信息输出所述3D预测框。
[0021]在一些实施例中，所述第一图像包括多个采集图像，所述多个采集图像是多个图像采集设备在同一采集时刻采集到的图像；
[0022]所述对所述图像采集序列中的第一图像进行对象检测，得到所述第一图像上的对象在目标三维空间中的3D检测框以及在所述第一图像上的2D检测框，包括：
[0023]对所述多个采集图像均进行对象检测，得到每一所述采集图像上的对象在每一所述图像采集设备的三维空间中的3D检测框以及在所述采集图像上的2D检测框；
[0024]根据每一所述图像采集设备的外参将位于不同图像采集设备的三维空间中的3D检测框映射到同一目标坐标系下，所述目标三维空间是所述目标坐标系限定的空间；
[0025]对所述多个采集图像进行拼接，得到拼接图像，并将所述多个采集图像上的2D检测框映射到所述拼接图像上，所述第一图像上的2D检测框为所述拼接图像上的2D检测框。
[0026]在一些实施例中，在所述根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果之前，所述方法还包括：
[0027]对所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框执行非极大值抑制处理。
[0028]根据本公开实施例的第二方面，提供一种目标跟踪装置，包括：
[0029]获取模块，被配置为获取图像采集序列，所述图像采集序列是根据图像采集设备在多个采集时刻的采集图像得到的；
[0030]检测模块，被配置为对所述图像采集序列中的第一图像进行对象检测，得到所述第一图像上的对象在目标三维空间中的3D检测框以及在所述第一图像上的2D检测框，所述第一图像为所述图像采集序列中的除首张图像以外的任一图像；
[0031]预测模块，被配置为根据针对第二图像对目标对象进行跟踪的跟踪结果，预测所述目标对象在所述目标三维空间中的3D预测框以及在所述第一图像上的2D预测框，所述第二图像是所述第一图像在所述图像采集序列中的上一图像；
[0032]确定模块，被配置为根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果。
[0033]在一些实施例中，所述确定模块进一步被配置为：
[0034]根据所述3D预测框和每一所述3D检测框之间的第一交并比值和/或距离值，从各
所述3D检测框中确定与所述3D预测框匹配的目标3D检测框；
[0035]将所述目标三维空间中对应所述目标3D检测框的对象作为所述目标对象，并将所述目标3D检测框在所述目标三维空间中的位置信息作为所述目标对象的3D跟踪位置信息，所述跟踪结果包括所述3D跟踪位置信息。
[0036]在一些实施例中，所述确定模块进一步被配置为：
[0037]针对各所述3D检测框中未匹配到所述3D预测框的3D检测框，确定与该3D检测框对应同一对象的2D检测框，并根据该2D检测框与所述2D预测框之间的第二交并比值，确定与所述2D预测框匹配的目标2D检测框；
[0038]将所述第一图像上对应所述目标2D检测框的对象作为所述目标对象，并将所述目标2D检测框在所述第一图像上的位置信息作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：获取图像采集序列，所述图像采集序列是根据图像采集设备在多个采集时刻的采集图像得到的；对所述图像采集序列中的第一图像进行对象检测，得到所述第一图像上的对象在目标三维空间中的3D检测框以及在所述第一图像上的2D检测框，所述第一图像为所述图像采集序列中的除首张图像以外的任一图像；根据针对第二图像对目标对象进行跟踪的跟踪结果，预测所述目标对象在所述目标三维空间中的3D预测框以及在所述第一图像上的2D预测框，所述第二图像是所述第一图像在所述图像采集序列中的上一图像；根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果。2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果，包括：根据所述3D预测框和每一所述3D检测框之间的第一交并比值和/或距离值，从各所述3D检测框中确定与所述3D预测框匹配的目标3D检测框；将所述目标三维空间中对应所述目标3D检测框的对象作为所述目标对象，并将所述目标3D检测框在所述目标三维空间中的位置信息作为所述目标对象的3D跟踪位置信息，所述跟踪结果包括所述3D跟踪位置信息。3.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述3D检测框、所述2D检测框、所述3D预测框以及所述2D预测框，确定针对所述第一图像对所述目标对象进行跟踪的跟踪结果，还包括：针对各所述3D检测框中未匹配到所述3D预测框的3D检测框，确定与该3D检测框对应同一对象的2D检测框，并根据该2D检测框与所述2D预测框之间的第二交并比值，确定与所述2D预测框匹配的目标2D检测框；将所述第一图像上对应所述目标2D检测框的对象作为所述目标对象，并将所述目标2D检测框在所述第一图像上的位置信息作为所述目标对象的2D跟踪位置信息，所述跟踪结果包括所述2D跟踪位置信息。4.根据权利要求1所述的目标跟踪方法，其特征在于，所述跟踪结果包括所述目标对象对应所述第二图像的3D跟踪位置信息、2D跟踪位置信息以及所述目标对象的运动数据；所述根据针对第二图像对目标对象进行跟踪的跟踪结果，预测所述目标对象在所述三维空间中的3D预测框以及在所述第一图像上的2D预测框，包括：根据所述运动数据更新跟踪器；将所述3D跟踪位置信息和2D跟踪位置信息输入到更新后的跟踪器中，得到所述跟踪器输出的所述3D预测框以及所述2D预测框。5.根据权利要求4所述的目标跟踪方法，其特征在于，所述运动数据包括所述目标对象在图像上的位置变化率，以及所述目标对象在所述目标三维空间中的速度以及加速度；所述跟踪器能够基于所述位置变化率以及所述2D跟踪位置信息输出所述2D预测框，以及基于所述速度、所述加速度以及所述3D跟踪位置信息输出所述3D预测框。
6.根据权利要求1所述的目标跟踪方法，其特征在...

【专利技术属性】
技术研发人员：梁浩，武鹏，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：