【技术实现步骤摘要】
本专利技术涉及图像识别，特别是涉及基于多阶特征分支和局部注意力的行人重识别模型。
技术介绍
1、行人重识别也称为行人再识别，是图像检索领域的一个子问题。行人重识别旨在从跨摄像头领域中实现对特定目标行人的识别和跟踪，即给定一个监控视频或视频序列中特定的行人图像，利用计算机视觉相关技术，在不同监控设备下的其他图像或者视频中寻找该行人，判定在图像库或者视频序列中该行人是否存在。行人重识别技术在智能安防、公共安全以及智能商业等领域具有重要的积极意义。
2、然而，在实际场景中，行人重识别技术的识别效果常常受到外界环境的影响。例如行人姿态变换，光照变换和遮挡等因素都会影响模型提取显著性特征信息，进而造成提取信息不充分，识别率低的问题。因此，如何设计一个能够充分提取行人图像特性信息的行人重识别模型成为主要问题。
3、目前，在计算机视觉领域涌现出大量的特征融合模型来解决特征提取不充分的问题。不过大多数的特征融合方式仅使用不同层级的特征进行对应元素的相加操作或者在仅在通道维度上进行拼接，并不能对图像的特征进行充分表达。
技术实现思路
1、本专利技术的目的是提供基于多阶特征分支和局部注意力的行人重识别模型，为了减少不同摄像设备下拍摄到的图像由于背景杂波影响造成提取细节特征不充分的问题。
2、为实现上述目的，本专利技术提供了基于多阶特征分支和局部注意力的行人重识别模型，包括以下步骤，
3、s1、对数据集中的行人图像进行数据增强预处理操作，提取特征后得到中间
4、s2、将s1中得到的行人特征图中的特征在空间维度上分为全局特征、二阶局部特征以及三阶局部特征，经过广义平均池化操作计算得到p个对应的特征向量，得到多阶特征分支；
5、s3、将s2中的多阶特征分支经过线性变换后输入由注意力机制引导的加权聚合模块中，得到注意力增强的局部特征向量，将其与初始化的动态权值矩阵相乘后得到加权聚合的局部特征，全局特征向量与加权聚合的局部特征共同得到最终特征向量；
6、s4、将s3中的最终特征向量使用难样本三元组损失函数、交叉熵损失函数和改进的中心损失函数来训练特征提取网络，计算特征提取网络中参数的梯度，反向更新特征提取网络中的参数，完成特征提取网络的训练；
7、s5、测试阶段时，在s4中的特征提取网络中输入待查询的行人图像和测试集中的所有行人图像，得到测试集中所有行人特征，计算待查询行人特征和图库中所有行人特征的欧氏距离，按照距离的大小递增排序，得到查询行人的近邻列表，完成行人重识别。
8、优选的，s1中，s11、数据增强预处理
9、在行人重识别数据集上对训练图像进行数据增强，输入训练集行人图片到特征提取网络，得到大小为h*w*c的中间特征图，其中，h、w、c分别代表其高度、宽度、通道数；
10、对图像像素进行维度变换，特征提取网络的最后一个模块不进行下采样，对图像进行归一化操作；
11、s12、提取行人特征
12、通过对图像采取随机裁剪、水平翻转和随机擦除操作对图像进行数据增强处理，将增强后的图像输入特征提取网络中，训练特征提取网络。
13、优选的，s2中，s21、行人图像整体特征
14、从全局特征提取图像整体特征，进行广义平均池化操作后，得到对行人图像整体的特征表示；
15、s22、构建局部特征分支
16、将经过特征提取网络得到的图像特征在空间维度上分别进行二等分与三等分操作，得到二阶局部特征和三阶局部特征，经过广义平均池化计算得到对应的二阶局部特征向量和三阶局部特征向量，构建图像的局部特征分支。
17、优选的，s3中，s31、卷积操作特征向量并计算注意力权重
18、将s2中的p个特征向量送入三个不同的卷积层，得到的局部特征向量为fp，
19、
20、经过卷积操作后的x(fip)、y(fip)和z(fip)，将x(fip)和y(fip)相乘后得到大小为p*p的矩阵，使用归一化操作计算矩阵中每一个块的注意力权重值；
21、s32、计算加权聚合的局部特征
22、将s31中的矩阵与z(fip)做点乘运算，得到注意力增强的局部特征，随机初始化一个可学习权重，经过激活函数与注意力增强的局部特征做矩阵相乘，得到加权聚合的局部特征；
23、s33、计算全局特征向量
24、将原始行人图像输入特征提取网络输出的特征向量做广义平均池化操作后的特征向量经过bn层做归一化操作，得到全局特征向量；
25、s34、计算最终特征向量
26、将s33中的全局特征向量与s32中加权聚合的局部特征相加，得到最终特征向量。
27、优选的，s4中，s41、难样本三元组损失函数ltriplet：
28、
29、其中，为目标图片，为正样本图片，为负样本图片，n为同一批训练批次中不同身份的行人图像个数，k为同一批训练数据中同一身份行人的实例数，α为正样本和负样本之间的间隔距离；
30、s42、含有标签平滑的交叉熵损失函数lce
31、
32、
33、
34、其中，n为每批次行人的图像个数，h表示每个身份的行人个数，fi为图像的最终特征向量，yi为fi对应的真实标签，w为权重向量，ε为标签平滑参数；
35、s43、基于难样本挖掘的改进的中心损失函数lcenter
36、
37、其中，为标签yi的行人图像平均特征值，为同一身份行人与其对应身份的平均特征的最大欧几里得距离，为不同身份的行人类内平均特征的最小欧几里得距离，fj″为最终特征向量；
38、s44、联合难样本三元组损失函数ltriplet、交叉熵损失函数lce和改进的中心损失函数lcenter的总体损失函数l对特征提取网络进行训练，
39、l＝ltriplet+lce+lcenter。
40、优选的，s5中，s51、将行人图像输入网络模型中提取行人全局特征，对数据集中的行人图像裁剪后与图像库中所有行人图像特征做距离度量；
41、s52、根据已经得到的欧式距离大小进行递增排序，取前排行人样本作为查询行人的近邻列表，输出最终结果。
42、因此，本专利技术采用上述步骤，其有益效果为：
43、1、本专利技术设计的加权聚合特征模块使模型在训练和测试时具有很高的计算效率，对背景杂波有较强的鲁棒性，对加权聚合后的最终特征表示中自适应地关注行人局部特征，提高模型的识别能力；
44、2、本专利技术使用特征提取网络resnet50提取不同粒度的图像特征。粗粒度特征稳定性和鲁棒性较强，细粒度局部特征消除背景杂波的影响，联合全局特征、二阶局部特征和三阶局部特征对行人图本文档来自技高网...
【技术保护点】
1.基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：包括以下步骤，
2.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：S1中，S11、数据增强预处理
3.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：S2中，S21、行人图像整体特征
4.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：S3中，S31、卷积操作特征向量并计算注意力权重
5.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：S4中，S41、难样本三元组损失函数LTriplet
6.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：S5中，S51、将行人图像输入网络模型中提取行人全局特征，对数据集中的行人图像裁剪后与图像库中所有行人图像特征做距离度量；
【技术特征摘要】
1.基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：包括以下步骤，
2.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：s1中，s11、数据增强预处理
3.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征在于：s2中，s21、行人图像整体特征
4.根据权利要求1所述的基于多阶特征分支和局部注意力的行人重识别模型，其特征...
【专利技术属性】
技术研发人员：任丹萍，何婷婷，赵继军，魏忠诚，陈湘国，王超，
申请(专利权)人：河北工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。