System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多尺度多细粒度的行人检索模型优化方法技术_技高网

一种多尺度多细粒度的行人检索模型优化方法技术

技术编号:41432369 阅读:7 留言:0更新日期:2024-05-28 20:28
本说明涉及图像识别检索技术领域,公开了一种多尺度多细粒度的行人检索模型优化方法,包括:S1:输入大量不同人体的图片并进行标注,来构建人体检索数据集;S2:使用EfficientNetV2M模型作为所述行人检索模型的主要网络模型,并对所述模型作出修改,然后输入所述人体检索数据集来训练修改后的所述EfficientNetV2M模型;S3:训练过程中使用数据增强遮挡明显的人体特征,并使用UCE loss训练所述模型直至收敛。通过使用更强力的特征提取网络、网络主动学习细粒度特征、使网络学习每类与其他类的区别等优化方案,优化后的模型相比于现有的行人检索模型在准确率上得到了很大的提升。

【技术实现步骤摘要】

本说明涉及图像识别检索,尤其涉及一种多尺度多细粒度的行人检索模型优化方法


技术介绍

1、近年来,深度学习在行人重识别领域得到了广泛应用,特别是以卷积神经网络(cnn)为代表的深度学习方法,大大提升了行人重识别的性能。许多基于深度学习的算法不断涌现,为行人重识别的准确性和鲁棒性带来了显著改进。针对传统方法容易受到光照、角度、遮挡等因素影响的问题,研究者开始探索对抗性学习方法,以增强模型对干扰的鲁棒性,提高在复杂场景下的行人重识别效果。近年出现了一系列大规模的行人图像数据集,如market-1501、dukemtmc-reid等,这些数据集为算法的评估与比较提供了重要基础,促进了行人重识别技术的发展。行人重识别在实际应用中的拓展:行人重识别技术在视频监控、智能安防、人流统计等领域的应用日益广泛,对技术的实时性和准确性提出了更高的要求。行人重识别技术在深度学习、多模态信息融合、鲁棒性改进、数据集丰富度和实际应用拓展等方面都取得了显著进展,为提高安防领域的智能化水平和实现更广泛的社会应用提供了重要支撑。

2、目前行人重识别的主要流程是:(1)从摄像机中获取图像,(2)将获取到的图像进行人体检测,截取出图像中的人体部分,(3)使用特征提取器对单个人体图像进行特征提取,(4)将提取后的特征与数据库中存储的人体特征进行比对,计算欧式距离或余弦距离等,(5)输出底库中与之匹配的人体。在这些步骤中最关键的是特征提取部分,使人体图像更精准的映射到特征空间中,对行人识别的准确率起到决定性作用。

3、当前行人特征提取主要的问题有:(1)模型提取到的是全局特征,使得模型更加关注明显的特征,如衣服裤子颜色、背景颜色、人体大概轮廓等,缺乏针对一些细节上的特征区分,比如穿着黑色衣服白色裤子黑色鞋子的人,另一人穿着黑色衣服白色裤子蓝色鞋子,特征提取网络极大可能将两人判别为同一人。(2)当前训练模型使用的损失函数多为基于欧几里得的损失和softmax损失,通过归一化权重和零偏置使得模型学习到类间固定角度间隔,这类损失函数只考虑增加同类间相似度而未考虑降低同类与其他类间的相似度。

4、说明内容

5、本说明的目的是为了解决上述现有技术中存在的缺点,而提供了一种多尺度多细粒度的行人检索模型优化方法,通过使用更强力的特征提取网络、网络主动学习细粒度特征、使网络学习每类与其他类的区别等优化方案,包括如下步骤:

6、s1:输入大量不同人体的图片并进行标注,来构建人体检索数据集;

7、s2:使用efficientnetv2 m模型作为所述行人检索模型的网络模型,并对所述efficientnetv2 m模型作出修改,然后输入所述人体检索数据集来训练修改后的所述efficientnetv2 m模型;

8、s3:训练过程中使用数据增强遮挡明显的人体特征,并使用uce loss训练所述efficientnetv2 m模型直至收敛。

9、进一步地,在步骤s1中,所述人体检索数据集的构建具体包括:

10、输入大量不同人体的图片,每个所述人体对应的所有图片为在多个角度和多个摄像头下拍摄得到;将每个所述人体对应的所有图片放置于同一文件夹下,并从0开始将所有不同人体的文件夹重新命名。

11、进一步地,在步骤s2中,对所述efficientnetv2 m模型作出修改具体包括:

12、s21:取消所述efficientnetv2 m模型中原本包含的第5次降采样;

13、s22:获取所述人体检索数据集经过所述efficientnetv2 m模型输出的特征图,根据所述特征图的高纬度将所述efficientnetv2 m模型的输出结果分成三份,三份所述输出结果同时使用空间注意力模块在空间维度上加权,并与所述输出结果一并作为最终输出。

14、其中,在步骤s22中,所述空间注意力模块为ca注意力模块,对三份所述输出结果使用所述空间注意力模块在空间维度上加权具体包括:

15、先将三份所述输出结果地特征图分为宽度和高度两个方向分别进行全局池化,由此获得在所述宽度和所述高度两个方向的特征图;

16、然后将获得的所述宽度和所述高度两个方向的特征图拼接起来,送入所述efficientnetv2 m模型的卷积模块将其批量归一化,然后将所述归一化处理的特征图送入sigmoid激活函数得到新的特征图;

17、将得到的新的所述特征图按照原来的所述高度和所述宽度进行卷积分别得到通道数与初始相同的特征图,再次经过sigmoid激活函数后得到所述特征图在所述高度和所述宽度上的注意力权重;

18、最后在原始的三份所述输出结果特征图上通过乘法加权计算得到最终在高度和宽度上带有所述注意力权重的特征图。

19、进一步地,在步骤s3中,所述使用数据增强遮挡明显的人体特征具体包括:

20、通过随机特征擦除、主要特征擦除两种数据增强方式来在训练中随机遮挡所述人体图片最显著特征与细节特征,引导所述efficientnetv2 m模型不止学习人体显著特征,同时学习到被擦除以外的人体特征。

21、优选地,所述使用uce loss损失函数训练所述efficientnetv2 m模型直至收敛,其公式如下:

22、

23、其中,x(i)为输入样本,所述uce loss损失函数计算cosθ(ii)同类间相似度,同时也计算cosθ(ii)与cosθ(ij)即其他类别的相似度度量。

24、更优地,所述uce loss损失函数中加入了样本x(i)与其他类的余弦cos相似度度量约束,使其增大。

25、进一步地,所述efficientnetv2 m模型输出的特征图在最终的特征空间分布趋于稳定,每个类别类内分布足够紧密,不同类别类间始终保证间隔,整个特征空间分布更加合理。

26、一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述多尺度多细粒度的行人检索模型优化方法的步骤。

27、一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上述行人检索模型优化方法的步骤。

28、与现有技术相比,本说明的有益效果是:

29、(1)本专利技术使用主干网络efficientnetv2 m模型作为人体图像特征提取器,使特征提取能力更强、容量更大;

30、(2)本专利技术使用人体特征遮挡数据增强来引导模型学习细粒度特征;

31、(3)本专利技术通过使用uce(unify cross entropy)loss损失函数替换arcface等预设间隔损失函数,引导模型区分每类与其不同类的相似度。

32、综上所述:本专利技术通过使用更强力的特征提取网络、网络主动学习细粒度特征、使网络学习每类与其他类的区别等优化方案。优化后的模型相比于现有的行人检本文档来自技高网...

【技术保护点】

1.一种多尺度多细粒度的行人检索模型优化方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤S1中,所述人体检索数据集的构建具体包括:

3.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤S2中,对所述EfficientNetV2 M模型作出修改具体包括:

4.根据权利要求3所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤S22中,所述空间注意力模块为CA注意力模块,对三份所述输出结果使用所述空间注意力模块在空间维度上加权具体包括:

5.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤S3中,所述使用数据增强遮挡明显的人体特征具体包括:

6.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤S3中,所述使用UCE loss损失函数训练所述EfficientNetV2 M模型直至收敛,其公式如下:

7.据权利要求5所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,所述UCE loss损失函数中加入了样本X(i)与其他类的余弦cos相似度度量约束,使其增大。

8.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,所述EfficientNetV2 M模型输出的特征图在最终的特征空间分布趋于稳定,每个类别类内分布足够紧密,不同类别类间始终保证间隔,整个特征空间分布更加合理。

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的多尺度多细粒度的行人检索模型优化方法的步骤。

10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项所述的多尺度多细粒度的行人检索模型优化方法的步骤。

...

【技术特征摘要】

1.一种多尺度多细粒度的行人检索模型优化方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤s1中,所述人体检索数据集的构建具体包括:

3.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤s2中,对所述efficientnetv2 m模型作出修改具体包括:

4.根据权利要求3所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤s22中,所述空间注意力模块为ca注意力模块,对三份所述输出结果使用所述空间注意力模块在空间维度上加权具体包括:

5.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤s3中,所述使用数据增强遮挡明显的人体特征具体包括:

6.根据权利要求1所述的多尺度多细粒度的行人检索模型优化方法,其特征在于,在步骤s3中,所述使用uce loss损失函数训练所述efficientn...

【专利技术属性】
技术研发人员:王智唐杰单存宇戴立言
申请(专利权)人:上海网达软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1