本申请提出了一种目标跟踪方法、装置、电子设备及存储介质,包括:S1、获取初始视频帧,训练位置相关滤波器;S2、对位置相关滤波器添加短时记忆块;S3、获取下一帧视频帧,通过位置相关滤波器获得目标位置,计算得到当前视频帧的第一运动状态信息并更新到短时记忆块;S4、根据前一帧视频帧的第一运动状态信息对目标跟踪框进行扩大,得到当前视频帧的目标搜索框;S5、对前一帧视频帧的目标跟踪框等比例放大或缩小,得到多尺度的滑动检测框,并依次在当前视频帧的目标搜索框内遍历滑动检测,将最大响应值对应的滑动检测框更新为当前视频帧的目标跟踪框;S6、重复步骤S3至步骤S5,遍历所有视频帧。本申请的目标跟踪方法不易丢失目标,提高可靠性。
【技术实现步骤摘要】
本申请涉及目标跟踪,具体涉及一种目标跟踪方法、装置、电子设备及存储介质。
技术介绍
1、随着无人机技术的迅速发展,无人机已广泛应用于农业、测绘、电影制作、安全监控等多个领域。其中,无人机云台相机的目标跟踪技术是近年来研究的热点,它能够实现对地面或空中目标的自动识别和持续跟踪。
2、目标跟踪是在视频的每一帧图像中选中感兴趣的目标,然后对其进行持续跟踪。传统的目标跟踪通常采用相关滤波算法,先通过第一帧图像训练一个图像块,训练的图像块和后续检测的图像块大小必须一致,然后在下一帧图像中确定一个固定大小范围的搜索框,通过检测的图像块在搜索框内遍历滑动检测,当检测到全局最大响应值时,则说明在下一帧图像中重新找到目标。
3、然而,无人机在目标跟踪过程中,由于无人机的飞行高度不一,目标在无人机视角的近端和远端尺度相差较大,并且在不同拍摄角度下,同一位置的同一目标尺度也会有一定的偏差。也就是说第一帧图像所训练的图像块大小可能与后续帧图像中的目标不匹配,造成目标信息丢失或加入了一些不必要的背景信息,导致检测失败。并且,由于搜索框的大小范围是固定的,一旦目标在进入下一帧图像时已经部分或完全离开搜索框区域,也会造成目标信息丢失,导致跟踪失败。
技术实现思路
1、为了解决现有技术中的无人机目标跟踪方法容易发生目标丢失的情况而无法持续跟踪的技术问题,本申请提出了一种目标跟踪方法、装置、电子设备及存储介质。
2、根据本申请的第一方面,提出了一种目标跟踪方法,包括步骤:
3、s1、获取包含跟踪目标的初始视频帧,根据所述初始视频帧训练得到位置相关滤波器,所述初始视频帧包括包含所述跟踪目标的目标跟踪框,所述位置相关滤波器用于根据前一帧视频帧的目标位置预测后一帧视频帧的目标位置;
4、s2、对所述位置相关滤波器添加短时记忆块;
5、s3、获取下一帧视频帧,记录为当前视频帧,通过所述位置相关滤波器获得所述当前视频帧的目标位置,根据前后两帧视频帧的目标位置得到所述跟踪目标在所述当前视频帧的第一运动状态信息,并将所述第一运动状态信息更新保存到所述短时记忆块中,所述第一运动状态信息包括方向信息和速度信息;
6、s4、对所述当前视频帧的前一帧视频帧的目标跟踪框按预设比例放大,根据所述当前视频帧的前一帧视频帧的所述第一运动状态信息对放大后的目标跟踪框进行扩大,得到所述当前视频帧的目标搜索框;
7、s5、对所述当前视频帧的前一帧视频帧的目标跟踪框按等比例放大和/或缩小,得到多尺度的滑动检测框,将所述多尺度的滑动检测框依次在所述当前视频帧的目标搜索框内遍历滑动检测,所述位置相关滤波器计算得到响应值,将最大响应值对应的滑动检测框更新为所述当前视频帧的目标跟踪框,并训练更新所述位置相关滤波器;
8、s6、重复所述步骤s3至步骤s5,直至遍历所有视频帧。
9、优选的,所述步骤s2还包括:
10、对所述位置相关滤波器添加长时记忆块;
11、所述步骤s3还包括:
12、记录历史视频帧的所述第一运动状态信息,得到运动状态信息集合并保存到所述长时记忆块中;
13、在所述步骤s4之前还包括:
14、判断所述当前视频帧的前n帧视频帧的所述方向信息是否一致,其中n为预设值;
15、若是,则通过所述当前视频帧的前n帧视频帧的所述速度信息计算得到平均加速度信息,根据所述平均加速度信息和所述当前视频帧的前一帧视频帧的所述第一运动状态信息预测得到所述当前视频帧的第二运动状态信息;
16、对所述当前视频帧的前一帧视频帧的目标跟踪框按预设比例放大,根据所述第二运动状态信息对放大后的目标跟踪框进行扩大,得到所述当前视频帧的目标搜索框;
17、若否,则执行所述步骤s4。
18、优选的,所述步骤s5具体包括:
19、基于所述当前视频帧的前一帧视频帧的所述方向信息,将所述多尺度的滑动检测框依次在所述当前视频帧的目标搜索框内朝向指定方向遍历滑动检测;
20、在每个尺度的滑动检测框滑动检测过程中,当所述位置相关滤波器计算得到峰值响应值时,停止滑动检测并记录该峰值响应值;
21、比较所述多尺度的滑动检测框的峰值响应值,将最大响应值对应的滑动检测框更新为所述当前视频帧的目标跟踪框。
22、优选的,在所述步骤s4中,所述根据所述当前视频帧的前一帧视频帧的所述第一运动状态信息对放大后的目标跟踪框进行扩大,具体包括:
23、根据所述当前视频帧的前一帧视频帧的所述方向信息得到所述跟踪目标的运动方向,基于所述跟踪目标的运动方向确定目标跟踪框的扩大方向;
24、根据所述当前视频帧的前一帧视频帧的所述速度信息得到所述跟踪目标的运动距离l1,基于所述跟踪目标的运动距离l1确定目标跟踪框的扩大距离l2,其中,l2≥l1。
25、优选的,所述步骤s2还包括:
26、对所述位置相关滤波器添加缩放因子;
27、所述缩放因子的表达式如下:
28、β±i ,i=0,1,2,3,...,k
29、其中,β为缩放因子,k用于表征尺度数量;
30、在所述步骤s5中,所述对所述当前视频帧的前一帧视频帧的目标跟踪框按等比例放大和/或缩小,得到多尺度的滑动检测框,包括:
31、对所述当前视频帧的前一帧视频帧的目标跟踪框按所述缩放因子放大和/或缩小,得到多尺度的滑动检测框。
32、优选的,在所述步骤s1中,所述位置相关滤波器的训练过程具体包括:
33、在所述初始视频帧中框选包含所述跟踪目标的目标跟踪框;
34、对所述跟踪目标的目标跟踪框进行hog特征提取并作为训练样本;
35、根据所述训练样本训练得到所述位置相关滤波器。
36、根据本申请的第二方面,提出了一种目标跟踪装置,包括:
37、训练模块,配置用于获取包含跟踪目标的初始视频帧,根据所述初始视频帧训练得到位置相关滤波器,所述初始视频帧包括包含所述跟踪目标的目标跟踪框,所述位置相关滤波器用于根据前一帧视频帧的目标位置预测后一帧视频帧的目标位置;
38、改进模块,配置用于对所述位置相关滤波器添加短时记忆块;
39、计算模块,配置用于获取下一帧视频帧,记录为当前视频帧,通过所述位置相关滤波器获得所述当前视频帧的目标位置,根据前后两帧视频帧的目标位置得到所述跟踪目标在所述当前视频帧的第一运动状态信息,并将所述第一运动状态信息更新保存到所述短时记忆块中,所述第一运动状态信息包括方向信息和速度信息;
40、第一执行模块,配置用于对所述当前视频帧的前一帧视频帧的目标跟踪框按预设比例放大,根据所述当前视频帧的前一帧视频帧的所述第一运动状态信息对放大后的目标跟踪框进行扩大,得到所述当前视频帧的目标搜索框;
41、跟踪模本文档来自技高网
...
【技术保护点】
1.一种目标跟踪方法,其特征在于,包括步骤:
2.根据权利要求1所述的方法,其特征在于,所述步骤S2还包括:
3.根据权利要求1所述的方法,其特征在于,所述步骤S5具体包括:
4.根据权利要求1所述的方法,其特征在于,在所述步骤S4中,所述根据所述当前视频帧的前一帧视频帧的所述第一运动状态信息对放大后的目标跟踪框进行扩大,具体包括:
5.根据权利要求1所述的方法,其特征在于,所述步骤S2还包括:
6.根据权利要求1所述的方法,其特征在于,在所述步骤S1中,所述位置相关滤波器的训练过程具体包括:
7.一种目标跟踪装置,其特征在于,包括:
8.根据权利要求7所述的装置,其特征在于:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任意一项所述的方法。
【技术特征摘要】
1.一种目标跟踪方法,其特征在于,包括步骤:
2.根据权利要求1所述的方法,其特征在于,所述步骤s2还包括:
3.根据权利要求1所述的方法,其特征在于,所述步骤s5具体包括:
4.根据权利要求1所述的方法,其特征在于,在所述步骤s4中,所述根据所述当前视频帧的前一帧视频帧的所述第一运动状态信息对放大后的目标跟踪框进行扩大,具体包括:
5.根据权利要求1所述的方法,其特征在于,所述...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,
申请(专利权)人:思翼科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。