System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种无监督多动物追踪方法技术_技高网

一种无监督多动物追踪方法技术

技术编号:41463309 阅读:18 留言:0更新日期:2024-05-30 14:19
本发明专利技术公开了一种无监督多动物追踪方法,其特征在于,包括如下步骤:获取包含目标动物的活动视频;从活动视频的第一帧中标记目标动物,获得标记后视频;基于标记后视频,通过自监督训练获得追踪模型;通过追踪模型对原活动视频进行追踪,获得目标动物的行动轨迹;该方法通过自监督的方式进行训练,具体地,通过自监督Transformer架构将单个视频帧连接起来,并探索相邻视频帧之间的联系,以实现鲁棒的目标跟踪,无需训练真值;也不需要人工标注。

【技术实现步骤摘要】

本专利技术涉及动物追踪,更具体的说是涉及一种无监督多动物追踪方法


技术介绍

1、动物行为学是生物学的一个分支,专注于研究动物的行为模式、习性、沟通方式以及它们与环境的相互作用。这一领域涉及到对动物在各种条件下的行为进行观察、描述、解释和预测。包括对动物的各种行为进行详细的描述,包括活动、觅食、交流、繁殖等方面的行为;解释动物行为的原因,包括生存策略、资源获取、社会结构等,这通常需要考虑到环境因素、遗传因素和个体学习等多方面因素。通过对已知行为的研究,尝试预测动物在未来可能展现的行为,从而更好地理解它们的生态学和生物学特征。

2、而动物行为学的分析需要依赖于动物的准确跟踪。在实验室中用于跟踪群体动物的主要方法是对动物的活动区域进行录像,使用视频进行跟踪具有较高的时间和空间分辨率。跟踪系统可以在群体中长时间跟踪带标记的动物,但标记有时会对动物的行为产生影响。当动物没有标记时,提取每个动物的轨迹是目前科学家需要面对的主要困难。困难的来源是当两个或多个个体交叉或接触时,在重叠点之后很难找到正确的身份。相对于自然图像中的目标跟踪,动物跟踪的挑战还来源于高度相似的外型和更频繁的交互。其中一些系统通过考虑重叠前后动物的运动轨迹来计算最有可能的身份分配,或者使用特定物种的形状模型,以帮助解决更复杂的交叉问题。

3、但是纵观目前的多动物跟踪方法,它们都面临一个共同的难题,大部分系统都是采用有监督方法,需要标记大量数据,费时费力。

4、因此,如何在不需要人工标注的前提下,实现对多动物的轨迹进行追踪,是本领域技术人员亟需解决的问题。


技术实现思路

1、鉴于上述问题,本专利技术提供一种无监督多动物追踪方法,以至少解决上述
技术介绍
中提到的部分技术问题。

2、为了实现上述目的,本专利技术采用如下技术方案:

3、本专利技术实施例提供了一种无监督多动物追踪方法,包括如下步骤:

4、s1、获取包含目标动物的活动视频;

5、s2、从所述活动视频的第一帧中标记所述目标动物,获得标记后视频;

6、s3、基于所述标记后视频,通过自监督训练获得追踪模型;

7、s4、通过所述追踪模型对所述原活动视频进行追踪,获得所述目标动物的行动轨迹。

8、进一步地,所述步骤s3具体包括:

9、s31、从所述标记后视频中获取训练视频帧;

10、s32、将所述训练视频帧输入至预训练追踪模型中,输出所述训练视频帧中每帧中所述目标动物的预跟踪位置;

11、s33、在所述训练视频帧中随机抽取一帧视频数据,作为模板帧;

12、s34、基于所述模板帧,采用自监督transformer架构根据所述预跟踪位置进行前向跟踪和反向跟踪,将损失值设定为所述预跟踪位置与所述前向跟踪和反向跟踪后的位置之差,并进行深度学习的模型迭代;

13、s35、重复执行s31-s34,迭代获得追踪模型。

14、进一步地,所述自监督transformer架构包括多层resnet模块、transformer编码器和transformer解码器。

15、进一步地,所述步骤s34具体包括:

16、s341、采用所述多层resnet模块分别提取所述模板帧和所述预跟踪位置的特征,对应记作模板特征和预跟踪特征;

17、s342、基于所述transformer编码器和所述transformer解码器,对所述模板特征和所述预跟踪特征进行特征融合,获得最终融合特征;

18、s343、通过所述最终融合特征迭代判别滤波器;

19、s344、对判别后的滤波器与所述预跟踪特征进行卷积处理,获得所述搜索区域的最终跟踪位置。

20、进一步地,所述transformer编码器包括第一自注意力机制和第一特征融合模块;

21、所述transformer解码器包括第二自注意力机制、第二特征融合模块和交叉注意力机制。

22、进一步地,所述步骤s332具体包括:

23、所述第一自注意力机制对所述模板特征进行特征提取,并通过所述第一特征融合模块进行融合,获得第一融合特征;

24、所述第二自注意力机制对所述预跟踪特征进行特征提取,并通过所述第二特征融合模块进行融合,获得第二融合特征;

25、所述第一融合特征和所述第二融合特征通过所述交叉注意力机制进行再次融合,获得最终融合特征。

26、进一步地,所述步骤s4还包括:根据所述目标动物的行动轨迹,动态更新轨迹模板序列。

27、经由上述的技术方案可知,与现有技术相比,本专利技术公开提供了一种无监督多动物追踪方法,具有如下有益效果:

28、本专利技术通过自监督的方式进行训练,具体地,通过自监督transformer架构将单个视频帧连接起来,并探索相邻视频帧之间的联系,以实现鲁棒的目标跟踪,无需训练真值,也不需要人工标注。

29、本专利技术不同于现有的transformer结构,本专利技术将编码器和解码器分成两个并行分支;transformer编码器通过基于自注意力机制的特征强化来提升目标模板,这有利于高质量的跟踪模型生成;transformer解码器将前一个模板中的跟踪线索传播到当前帧,从而促进目标搜索过程。

30、本专利技术还将transformer结构和判别式的跟踪方法融合,提升了跟踪性能。

31、本专利技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。

32、下面通过附图和实施例,对本专利技术的技术方案做进一步的详细描述。

本文档来自技高网...

【技术保护点】

1.一种无监督多动物追踪方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种无监督多动物追踪方法,其特征在于,所述步骤S3具体包括:

3.根据权利要求2所述的一种无监督多动物追踪方法,其特征在于,所述自监督Transformer架构包括多层ResNet模块、Transformer编码器和Transformer解码器。

4.根据权利要求3所述的一种无监督多动物追踪方法,其特征在于,所述步骤S34具体包括:

5.根据权利要求4所述的一种无监督多动物追踪方法,其特征在于,所述Transformer编码器包括第一自注意力机制和第一特征融合模块;

6.根据权利要求5所述的一种无监督多动物追踪方法,其特征在于,所述步骤S332具体包括:

7.根据权利要求1所述的一种无监督多动物追踪方法,其特征在于,所述步骤S4还包括:根据所述目标动物的行动轨迹,动态更新轨迹模板序列。

【技术特征摘要】

1.一种无监督多动物追踪方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种无监督多动物追踪方法,其特征在于,所述步骤s3具体包括:

3.根据权利要求2所述的一种无监督多动物追踪方法,其特征在于,所述自监督transformer架构包括多层resnet模块、transformer编码器和transformer解码器。

4.根据权利要求3所述的一种无监督多动物追踪方法,其特征在...

【专利技术属性】
技术研发人员:杨懿李奕昕卢志
申请(专利权)人:浙江荷湖科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1