一种基于结构化模型的长期视觉追踪方法及装置制造方法及图纸

本申请公开了一种基于结构化模型的长期视觉追踪方法及装置，用以解决视觉追踪的单一模型的表达能力有限，多模型会出现特征表达混乱，从而导致模型表达能力退化、追踪目标丢失的问题。该方法根据目标对象的不同特征，构建若干有代表性的目标表观模型；采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；根据对比识别结果以及预设规则，对匹配的目标表观模型进行更新，或者新建目标表观模型；采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，保证类内模板在同一特征子空间，以建立视觉追踪的结构化的多代表性目标表观模型。

A long-term visual tracking method and device based on structured model

【技术实现步骤摘要】
一种基于结构化模型的长期视觉追踪方法及装置
本申请涉及视觉追踪
，尤其涉及一种基于结构化模型的长期视觉追踪方法及装置。
技术介绍
视觉追踪是利用计算机视觉技术，对视频信号进行处理、分析和理解，实现对目标对象的持续跟踪的技术。视觉追踪器中的目标表观模型，用于表达目标对象的特征，从而根据目标对象的特征，实现对目标对象的追踪。目前，在对目标对象进行追踪时，通常采用2D模型表达目标对象的特征，包括单一模型与多模型。目标对象在视频中往往是动态变化的，但是，单一模型的表达能力是有限的。因此，采用单一模型进行视觉追踪时，对单一模型的表达能力的挑战性较高，由于远远超出了单一模型的表达能力，很可能会导致模型混乱，出现模型快速退化的问题，从而影响视觉追踪的准确性。而在采用多模型进行视觉追踪时，各个模型之间的无序性可能会导致学习困难，而产生特征表达混乱的问题，这样大大降低了多模型应有的表达能力，使得多模型的性能表现甚至比单一模型更差。
技术实现思路
本申请实施例提供一种基于结构化模型的长期视觉追踪方法及装置，用以解决视觉追踪的单一模型的表达能力有限，多模型会出现特征表达混乱，从而导致模型表达能力退化、追踪目标丢失的问题。本申请实施例提供的一种基于结构化模型的长期视觉追踪方法，包括：根据目标对象的不同特征，构建若干代表性目标表观模型；采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。在一个示例中，根据目标对象的不同特征，构建若干代表性目标表观模型，包括：将预设的目标对象及其副本作为初始目标表观模型的模板组；根据所述初始目标表观模型的模板组，采用稀疏主要成分分析PCA算法，确定所述初始目标表观模型对应的PCA基及表示系数，以构建所述初始目标表观模型。在一个示例中，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，包括：针对若干候选目标图片，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数；根据该候选目标图片的表示系数，确定该候选目标图片与目标表观模型的相似性。在一个示例中，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数，包括：根据确定侯选目标图片的表示系数及误差系数；其中，z表示侯选目标图片，Tp表示目标表观模型对应的PCA基，c表示表示系数，e表示误差系数，λ表示预设系数。在一个示例中，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型，包括：根据相似性对比识别，确定所述候选目标图片中相似度最高的，作为追踪结果；将所述追踪结果的表示系数与各目标表观模型对应的表示系数进行向量相似性对比，确定相似度；从若干目标表观模型中，确定相似度最高的目标表观模型，作为匹配的目标表观模型。在一个示例中，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：确定所述追踪结果的误差系数；根据确定所述追踪结果的置信度值，其中，Conf表示置信度值，e表示所述追踪结果的误差系数，m表示e的维数；根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型。在一个示例中，根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：若所述置信度值大于第一预设值，则采用所述追踪结果，对所述匹配的目标表观模型中的模板进行替换，并更新所述匹配的目标表观模型的基；若所述置信度值不小于第二预设值，且不大于第一预设值，且已构建的目标表观模型的总数小于预设模型数量，则根据所述追踪结果中目标对象的特征，新建目标表观模型。在一个示例中，所述方法还包括：若所述匹配的目标表观模型为初始目标表观模型，则在所述置信度值大于第二预设值时，通过所述追踪结果，对所述初始目标表观模型中的模板进行替换，并更新所述初始目标表观模型的基。在一个示例中，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新之前，所述方法还包括：确定所述匹配的目标表观模型中的模板数量达到预设模板数量。本申请实施例提供的一种基于结构化模型的长期视觉追踪装置，包括：构建模块，根据目标对象的不同特征，构建若干代表性目标表观模型；匹配模块，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；更新模块，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；聚类模块，采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。本申请实施例提供的一种基于结构化模型的长期视觉追踪方法及装置，能够带来以下有益效果：通过根据追踪结果，对匹配的目标表观模型中的模板进行替换，可实现在目标追踪过程中的在线学习，实现对目标表观模型的及时更新，使目标表观模型能不断学习目标对象的特征变化，并根据目标对象的特征变化对目标表观模型表达的特征进行调整，以避免模型退化，维持模型的学习能力与表达特征的准确性。并且，根据目标对象的不同特征，构建不同的目标表观模型，可使各个目标表观模型的表达任务分别被限定在一个范围内，各模型共同承担表达目标对象特征的任务。这样的学习方法，减轻了单个模型的学习任务，有利于单个模型的学习过程，可以有针对性地实现模型学习，能够加强单个模型的特征表达能力，不会使特征表达混乱，还能够使多个目标表观模型结合起来，共同实现对目标对象的追踪，实现多模型共同表达能力的最大化，抑制模型退化。通过聚类，可按照各个模板表达的特征，对各模板进行分组，确定每个目标表观模型内的模板能够表达相似的特征，划清各个目标表观模型之间的界限，使各模型具有代表性，实现模型的结构化。这样能够加强各模型的特征表达能力，提高模型的保真度，使模型更稳定，防止因为模型内一个模板的特征表达的偏差，而影响整个模型的特征表达，从而导致模型退化等问题，影响模型的特征表达的准确性。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的基于结构化模型的长期视觉追踪方法流程图；图2为本申请实施例提供的目标表观模型的构建原理图；图3为本申请实施例本文档来自技高网...

【技术保护点】
1.一种基于结构化模型的长期视觉追踪方法，其特征在于，包括：/n根据目标对象的不同特征，构建若干代表性目标表观模型；/n采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；/n根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；/n采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。/n

【技术特征摘要】
1.一种基于结构化模型的长期视觉追踪方法，其特征在于，包括：
根据目标对象的不同特征，构建若干代表性目标表观模型；
采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。


2.根据权利要求1所述的方法，其特征在于，根据目标对象的不同特征，构建若干代表性目标表观模型，包括：
将预设的目标对象及其副本作为初始目标表观模型的模板组；
根据所述初始目标表观模型的模板组，采用稀疏主要成分分析PCA算法，确定所述初始目标表观模型对应的PCA基及表示系数，以构建所述初始目标表观模型。


3.根据权利要2所述的方法，其特征在于，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，包括：
针对若干候选目标图片，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数；
根据该候选目标图片的表示系数，确定该候选目标图片与目标表观模型的相似性。


4.根据权利要3所述的方法，其特征在于，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数，包括：
根据确定侯选目标图片的表示系数及误差系数；其中，z表示侯选目标图片，Tp表示目标表观模型对应的PCA基，c表示表示系数，e表示误差系数，λ表示预设系数。


5.根据权利要求3所述的方法，其特征在于，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型，包括：
根据相似性对比识别，确定所述候选目标图片中相似度最高的，作为追踪结果；
将所述追踪结果的表示系数与各目标表观模型对应的表示系数进行向量相似性对比，确定相似度；
从若干目标表观模型中，确定相似度最高的目标表观模型，作为匹配...

【专利技术属性】
技术研发人员：傅德谦，胡顺波，张林涛，
申请(专利权)人：临沂大学，
类型：发明
国别省市：山东;37