System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 行为识别方法、装置、设备及介质制造方法及图纸_技高网

行为识别方法、装置、设备及介质制造方法及图纸

技术编号:44807776 阅读:2 留言:0更新日期:2025-03-28 19:55
本申请公开了一种行为识别方法、装置、设备及介质,涉及行为识别技术领域。所述方法包括:基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合;将待识别图像集合输入至训练好的行为识别网络,获得行为识别网络输出的集合行为识别结果。本申请可提高行为识别准确性。

【技术实现步骤摘要】

本申请涉及行为识别,尤其涉及一种行为识别方法、装置、设备及介质


技术介绍

1、在视频监督、视频推荐和人机交互等领域中,行为识别可以针对采集的图像或者视频帧,识别出图像或者视频帧中人员的动作。如在交通领域,可通过行为识别判断出驾驶员正在开车,还是在开车的同时打电话。

2、但是,相关技术中,基于单张图像的行为识别,识别准确率较低,而基于视频进行行为识别,则识别准确率容易受到视频中行为变化的影响而降低。


技术实现思路

1、本申请的主要目的在于提供一种行为识别方法、装置、设备及介质,旨在解决行为识别准确率较低的技术问题。

2、为实现上述目的,本申请提供一种行为识别方法,方法包括:

3、基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合;其中,所有图像传感器中至少两个图像传感器的工作波段和/或空间位置不同;

4、将待识别图像集合输入至训练好的行为识别网络,获得行为识别网络输出的集合行为识别结果;其中,行为识别网络包括特征提取模块、第一行为识别模块、识别质量评估模块以及第二行为识别模块;特征提取模块用于对各待识别图像进行特征提取,获得图像特征;第一行为识别模块用于基于图像特征,对各待识别图像进行行为识别,得到各待识别图像的预测行为识别结果;识别质量评估模块用于对各待识别图像进行识别质量评估,获得各待识别图像的识别权重;第二行为识别模块用于基于预测行为识别结果和对应的识别权重,获得集合行为识别结果。</p>

5、在本申请可能的一实施例中,基于至少两个图像传感器分别针对目标对象成像得到的待识别图像,获得待识别图像集合,包括:

6、获取图像传感器在预设小跨度时长内不同时刻采集的多帧实时图像;

7、对多帧实时图像进行特征识别和特征聚类,获得特征聚类结果;

8、基于特征聚类结果,从多帧实时图像中筛选出包括目标对象的待识别图像;

9、基于至少两个图像传感器的待识别图像,获得待识别图像集合。

10、在本申请可能的一实施例中,将待识别图像集合输入至训练好的行为识别网络,获得行为识别网络输出的集合行为识别结果之后,方法还包括:

11、输出各待识别图像的识别权重;

12、基于所有识别权重,筛选出不合格点位。

13、在本申请可能的一实施例中,基于所有识别权重,筛选出不合格点位,包括:

14、确定图像传感器在预设工作时长内针对的所有已识别目标对象,以及各已识别目标对象对应的既有识别权重;预设工作时长包括至少两个预设小跨度时长;

15、从所有既有识别权重中筛选出低质量识别权重;其中,低质量识别权重小于预设识别权重;

16、确定所有低质量识别权重在所有既有识别权重中的占比;

17、若占比小于预设预警阈值,则将图像传感器所在点位确定为不合格点位。

18、在本申请可能的一实施例中,基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合之前,方法还包括:

19、获取至少两个初始样本图像;其中,至少两个初始样本图像由多个图像传感器在同一时刻针对同一样本对象分别采集得到;

20、基于初始样本图像,生成具有相似图像特征的扩充样本图像;

21、基于初始样本图像与扩充样本图像,获得训练样本;

22、利用至少一个训练样本对行为识别网络进行训练。

23、在本申请可能的一实施例中,利用至少一个训练样本对行为识别网络进行训练,包括:

24、将训练样本输入至行为识别网络,获得行为识别网络输出的第一预测行为类别以及识别质量评估模块输出的至少两个预测识别权重;

25、基于第一预测行为类别和训练样本的第一真实行为类别,构建第一损失函数;

26、基于至少两个预测识别权重和训练样本中各图像对应的真实权重,构建第二损失函数;

27、基于第一损失函数和第二损失函数,对行为识别网络进行训练。

28、在本申请可能的一实施例中,基于第一损失函数和第二损失函数,对行为识别网络进行训练,包括:

29、获得第一行为识别模块针对各图像输出的第二预测行为类别;

30、确定第二预测行为类别和对应的图像的第二真实行为类别之间的识别损失;

31、基于所有图像的识别损失,构建第三损失函数;

32、基于第一损失函数、第二损失函数和第三损失函数,对行为识别网络进行训练。

33、第二方面,本申请还提供了一种行为识别装置,装置包括:

34、图像获取模块,用于基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合;其中,所有图像传感器中至少两个图像传感器的工作波段和/或空间位置不同;

35、网络识别模块,用于将待识别图像集合输入至训练好的行为识别网络,获得行为识别网络输出的集合行为识别结果;其中,行为识别网络包括特征提取模块、第一行为识别模块、识别质量评估模块以及第二行为识别模块;特征提取模块用于对各待识别图像进行特征提取,获得图像特征;第一行为识别模块用于基于图像特征,对各待识别图像进行行为识别,得到各待识别图像的预测行为识别结果;识别质量评估模块用于对各待识别图像进行识别质量评估,获得各待识别图像的识别权重;第二行为识别模块用于基于预测行为识别结果和对应的识别权重,获得集合行为识别结果。

36、在本申请可能的一实施例中,图像获取模块,具体包括:

37、图像获取单元,用于获取图像传感器在预设小跨度时长内不同时刻采集的多帧实时图像;

38、聚类单元,用于对多帧实时图像进行特征识别和特征聚类,获得特征聚类结果;

39、图像筛选单元,用于基于特征聚类结果,从多帧实时图像中筛选出包括目标对象的待识别图像;

40、集合构建单元,用于基于至少两个图像传感器的待识别图像,获得待识别图像集合。

41、在本申请可能的一实施例中,行为识别装置还包括:

42、权重输出模块,用于输出各待识别图像的识别权重;

43、点位筛选模块,用于基于所有识别权重,筛选出不合格点位。

44、在本申请可能的一实施例中,点位筛选模块,具体包括:

45、数据统计单元,用于确定图像传感器在预设工作时长内针对的所有已识别目标对象,以及各已识别目标对象对应的既有识别权重;预设工作时长包括至少两个预设小跨度时长;

46、权重筛选单元,用于从所有既有识别权重中筛选出低质量识别权重;其中,低质量识别权重小于预设识别权重;

47、占比计算单元,用于确定所有低质量识别权重在所有既有识别权重中的占比;

48、点位筛选单元,用于若占比小于预设预警阈值,则将图像传感器所在点位确定为不合格点位。...

【技术保护点】

1.一种行为识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的行为识别方法,其特征在于,所述基于至少两个图像传感器分别针对所述目标对象成像得到的待识别图像,获得待识别图像集合,包括:

3.根据权利要求1所述的行为识别方法,其特征在于,所述将所述待识别图像集合输入至训练好的行为识别网络,获得所述行为识别网络输出的集合行为识别结果之后,所述方法还包括:

4.根据权利要求3所述的行为识别方法,其特征在于,所述基于所有所述识别权重,筛选出不合格点位,包括:

5.根据权利要求1所述的行为识别方法,其特征在于,所述基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合之前,所述方法还包括:

6.根据权利要求5所述的行为识别方法,其特征在于,所述利用至少一个所述训练样本对行为识别网络进行训练,包括:

7.根据权利要求6所述的行为识别方法,其特征在于,所述基于所述第一损失函数和所述第二损失函数,对所述行为识别网络进行训练,包括:

8.一种行为识别装置,其特征在于,所述装置包括:

9.一种行为识别设备,其特征在于,包括:处理器,存储器以及存储在所述存储器中的计算机程序,所述计算机程序被所述处理器运行时实现如权利要求1至7中任一项所述行为识别方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的行为识别方法。

...

【技术特征摘要】

1.一种行为识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的行为识别方法,其特征在于,所述基于至少两个图像传感器分别针对所述目标对象成像得到的待识别图像,获得待识别图像集合,包括:

3.根据权利要求1所述的行为识别方法,其特征在于,所述将所述待识别图像集合输入至训练好的行为识别网络,获得所述行为识别网络输出的集合行为识别结果之后,所述方法还包括:

4.根据权利要求3所述的行为识别方法,其特征在于,所述基于所有所述识别权重,筛选出不合格点位,包括:

5.根据权利要求1所述的行为识别方法,其特征在于,所述基于至少两个图像传感器在预设小跨度时长内分别针对目标对象成像得到的待识别图像,获得待识别图像集合之前,所述方法还包括...

【专利技术属性】
技术研发人员:蔡晓蕙
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1