一种基于ECO算法和卡尔曼滤波的跟踪装置方法及装置制造方法及图纸

一种基于ECO算法和卡尔曼滤波的跟踪方法及装置，方法读取视频或图像序列的第一帧图像，确定跟踪目标；将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，利用相关滤波器卷积图像候选区域获取目标位置；根据跟踪结果得到相邻两帧间目标相对运动信息；将目标运动状态转换为对第一帧的相对运动状态；将跟踪状态送入卡尔曼滤波器得到最优预测结果；使用样本融合更新策略，更新ECO算法的样本集；利用新样本集训练ECO算法，更新相关滤波器，利用相关滤波器卷积图像候选区域获取目标位置；循环执行上述步骤。本发明专利技术对于目标出现遮挡或形变或相似目标时，结合目标的运动信息辅助跟踪定位，并用最优框中的结果更新样本集，提升训练效果。

【技术实现步骤摘要】
一种基于ECO算法和卡尔曼滤波的跟踪装置方法及装置
本专利技术涉及计算机视觉应用目标跟踪领域，具体涉及一种基于ECO算法和卡尔曼滤波的跟踪方法及装置。
技术介绍
视觉目标跟踪是计算机视觉中一个重要研究方向，在军事无人飞行器、精确制导以及空中预警和民用视频监控，无人驾驶等嵌入式监控领域有着极其广泛的应用，同时目标跟踪面临着目标尺度变换、重度遮挡、快速移动、超出视野和光照变化等众多挑战，因此提出一种可靠且结构轻巧的目标跟踪方法具有很重要的现实意义。近期热门的跟踪器大多依赖深度网络，如Prdimp,以resnet50为主干网，在精度上达到了很高，然而在2080ti配置的服务器上也只能刚刚达到30FPS，一般小型的嵌入式跟踪器无法满足算法对设备体积和承重要求。追溯传统目标跟踪算法，他们通常由一个滤波卷积模块和回归修正模块构成。滤波卷积模块负责特征匹配并给出粗略位置估计，然后由回归修正模块迭代给出最终结果。在这个过程中，只有目标的外观特征相似度是被考虑在内的。然而，跟踪是一个连续的过程，其运动连续性在追踪过程中显然也是非常有用的信息。
技术实现思路
鉴于现有技术中存在的技术缺陷和技术弊端，本专利技术实施例提供克服上述问题或者至少部分地解决上述问题的一种基于ECO算法和卡尔曼滤波的跟踪方法及装置，将物体的运动信息也考虑进跟踪过程，根据外观信息得到初步结果，辅以融合历史运动信息的卡尔曼滤波预测结果，综合得到最优位置估计。本方法结合了空间上物体外观信息和时间上物体位移信息，同时满足在实际应用中的时空连续性，具体方案如下：作为本专利技术的第一方面，提供一种基于ECO算法和卡尔曼滤波的跟踪方法，所述方法包括：步骤1，读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；步骤2，将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；步骤3，读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果；重复执行步骤3，直至当前视频或图像序列处理完。进一步地，步骤3之后还包括：步骤4，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；步骤5，将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；步骤6，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；步骤7，基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；更新相关滤波器，步骤3中，利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。进一步地，步骤4具体为：步骤4.1，设目标状态向量更新方程为：方程一：xk＝Fkxk-1；其中，是目标的当前状态矩阵，是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；步骤4.2，设状态协方差矩阵的更新方程为：方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；结合方程一得其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：xk＝Fkxk-1；跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：xk＝Fkxk-1+Wk；在初始化卡尔曼滤波器时，就是初始化W1，Q1设置为经验噪声矩阵，即进一步地，步骤6具体为：步骤6.1，令跟踪结果的运动学方程如下：Zk＝Hkxk+Vk；其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Hk为单位矩阵，Vk为噪声信息。步骤6.2，接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：其中，为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，xk是上一帧的最优估计状态矩阵。进一步地，将目标运动状态转换为对第一帧的相对运动状态[x1t，y1t]具体为：已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。作为本专利技术的第二方面，提供一种基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，所述装置包括目标确定模块、ECO训练模块以及目标位置计算模块；所述目标确定模块用于读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；所述ECO训练模块用于将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；所述目标位置计算模块用于读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果，以此将当前视频或图像序列处理完。进一步地，所述装置还包括样本集更新模块，所述样本集更新模块具体用于：用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；更新相关滤波器后，所述目标位置计算模块利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。...

【技术保护点】
1.一种基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，所述方法包括：/n步骤1，读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；/n步骤2，将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；/n步骤3，读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果；/n重复执行步骤3，直至当前视频或图像序列处理完。/n

【技术特征摘要】
1.一种基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，所述方法包括：
步骤1，读取视频或图像序列的第一帧图像，从所述第一帧图像中确定跟踪目标；
步骤2，将第一帧图像中跟踪目标的位置信息作为样本放入ECO算法训练相关滤波器；
步骤3，读取下一帧图像，利用训练好的相关滤波器卷积当前帧图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率，即得到当前帧图像的目标跟踪结果；
重复执行步骤3，直至当前视频或图像序列处理完。


2.根据权利要求1所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，步骤3之后还包括：
步骤4，用第一帧图像中跟踪目标的位置信息初始化卡尔曼滤波器；
步骤5，将跟踪结果转化为相对第一帧的位置信息[x1t，y1t]；
步骤6，将[x1t，y1t]送入初始化后的卡尔曼滤波器得到最优估计位置计算最优估计位置处的置信度，若该置信度大于预设阈值，返回最优估计位置处切片作为新样本；
步骤7，基于获取的新样本，使用样本融合更新策略，更新ECO算法的样本集，将获取的新样本集放入ECO算法训练相关滤波器，更新相关滤波器；
更新相关滤波器后，步骤3中，利用更新后的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率。


3.根据权利要求2所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，步骤4具体为：
步骤4.1，设目标状态向量更新方程为：
方程一：xk＝Fkxk-1；
其中，是目标的当前状态矩阵，是状态转移矩阵，其中，Position＝(x,y)为目标位置，velocity为当前速度，P为Position的缩写，v为velocity的缩写；
步骤4.2，设状态协方差矩阵的更新方程为：
方程二：Cov(x)＝∑Cov(Ax)＝A∑AT；
结合方程一得
其中，x为状态矩阵，Pk-1为前一帧的协方差矩阵，等同于求和符号，A为公式推导中的辅助变量；
由于在跟踪时，跟踪目标的主观运动动量是不可知的，即控制矩阵，控制向量和加速度未知，因而跟踪部分的整体更新方程为：



xk＝Fkxk-1；
跟踪过程存在不确定的外部影响，会对系统产生不确定的干扰，且无法对这些干扰进行准确的跟踪和量化的，因此，除了外界的确定项，还需要考虑不确定干扰项Wk和Qk，，其中，Wk代表对应于xk的干扰矩阵，Qk代表对应于Pk的干扰矩阵，最终的状态方程如下：
xk＝Fkxk-1+Wk；



在初始化卡尔曼滤波器时，就是初始化
W1，Q1设置为经验噪声矩阵，即


4.根据权利要求3所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，步骤6具体为：
步骤6.1，令跟踪结果的运动学方程如下：
Zk＝Hkxk+Vk；
其中，Zk是跟踪结果的运动状态，包含当前帧目标相对第一帧目标的位置信息，Hk为转换矩阵，即将跟踪结果转换到和原结果同一坐标系的矩阵，由于这里输入跟踪结果C1t＝[x1t,y1t]已经是相对第一帧的同一坐标系，Hk为单位矩阵，Vk为噪声信息。
步骤6.2，接下来用预测结果和跟踪结果进行高斯分布相乘求极值得到新位置，并同时更新协方差矩阵，即找到相乘后新的高斯分布的均值和方差，此步骤根据高斯分布的相乘方程得到更新方程如下：



其中，为预测高斯分布和跟踪高斯分布相乘后的卡尔曼增益，求得新位置的置信度，若大于预设阈值，返回位置处切片为新样本，其中，Pk是协方差矩阵，Rk是测量部分，即根据跟踪生成的状态矩阵，Zk是预测得到的状态矩阵，xk是上一帧的最优估计状态矩阵。


5.根据权利要求2所述的基于ECO算法和卡尔曼滤波的跟踪方法，其特征在于，将目标运动状态转换为对第一帧的相对运动状态[x1t，y1t]具体为：
已知第t帧的跟踪结果Ct＝[xt,yt]与上一帧跟踪结果Ct-1＝[xt-1,yt-1]做差分，并加上上一帧对第一帧的绝对位置C1t-1＝[x1t-1,y1t-1]得到当前帧对第一帧的相对位置C1t＝[x1t,y1t]。


6.一种基于ECO算法和卡尔曼滤波的跟踪装置，其特征在于，所述装置包括目标确定模块、ECO训练模块以及目标位置...

【专利技术属性】
技术研发人员：吴林春，鹿璇，黄炎，
申请(专利权)人：武汉卓目科技有限公司，
类型：发明
国别省市：湖北;42