一种基于局部抑制自注意力的行人重识别方法及系统技术方案

本发明专利技术提出了一种基于局部抑制自注意力的行人重识别方法及系统。该方法为：采集原始行人图片样本，对样本进行预处理；构建网络模型,该网络模型包括残差网络优化后的卷积骨干网络，该卷积骨干网络输出连接N个用于局部特征提取的自注意力分支，N个局部特征提取分支的输出级与卷积骨干网络输出的特征图进行残差连接；利用预处理后的样本对该网络模型进行反向传播训练；将目标图片于训练后的网络模型中进行行人重识别。该方法提高了对行人局部特征的提取精度，使得该基于局部抑制自注意力的行人重识别方法的识别能力更高。行人重识别方法的识别能力更高。行人重识别方法的识别能力更高。

【技术实现步骤摘要】
一种基于局部抑制自注意力的行人重识别方法及系统


[0001]本专利技术涉及计算机领域，具体涉及一种基于局部抑制自注意力的行人重识别方法及系统。

技术介绍

[0002]行人重识别也称跨镜追踪技术，其目标是跨场景跨摄像头下行人身份的识别与检索。随着智慧城市、智慧社区的建设与落地，越来越多的摄像头被安置在小区、商场、街道的各个角落，每天都能获取到海量的行人视频或图像数据。然而目前对此类数据的利用远不够充分。比如智能安防场景，目前主要是由办案警察从大量的监控视频中人工筛选整合来确定嫌疑人的行动轨迹，不仅费时费力而且容易误判；在如智能寻人场景，当出现儿童走散时往往只能由工作人员广播的方式进行提醒通知，嘈杂环境下加之儿童心理不够成熟导致效果非常有限。
[0003]因此，利用计算机智能整合分析来自多个摄像头的行人数据是目前以及今后的跨镜追踪的首选方式。典型的完整跨镜追踪系统分为三个阶段：多摄像头不同时段的行人数据采集与上传、基于视频帧的行人位置检测、基于手工特征提取或深度神经网络的行人身份识别。其中由于不同厂商不同型号的摄像头往往带来数据的异构性，而且行人位置检测的准确性也取决于检测模型的性能表现，此外，由于天气变化、光照情况、姿态差异、障碍物遮挡以及背景复杂多变等因素，要从大量的行人身份库中准确检索出同一身份的行人极具挑战。
[0004]利用行人重识别模型进行身份识别包括两个步骤：行人图像特征提取和特征相似度计算。其中特征相似度计算部分一般计算待检测图像的特征和图像库中图像特征的余弦距离或欧氏距离，距离越小则相似度越大，根据相似度得分得到检测到的排序结果。此步骤的准确性取决于特征提取阶段模型的性能。在大规模行人图像库中，姿态、衣着、视角等相似的不同身份行人样本很多，一些局部细粒度特征的发掘是区分它们的关键。因此设计一个能抗背景干扰和遮挡的局部特征提取模型是提高行人重识别模型鲁棒性的核心。
[0005]早期的工作利用人工设计的特征提取算子在原始图像上提取行人局部特征，如Karanam等将原始图像分为六个水平部分，对每一个部分单独计算不同颜色空间的灰度直方图。Matsukawa等提出两级高斯建模模型，首先将图像分为多个局部块，同一水平位置的多个局部块间建立高斯分布，然后在不同水平位置之间建立第二级高斯分布，提高了对图像纹理的刻画能力。上述方法受纹理特征影响大，缺乏对行人整体语义信息的提取，容易对训练集过拟合并且精度很有限。
[0006]随着深度神经网络在大规模图像分类领域的优秀表现，不少研究者也将其应用于行人重识别问题。Sun等在卷积网络输出的特征图上进行水平分片，分别代表头、上半身、大腿和小腿等，每一片独立进行分类，有效地提高了行人重识别准确度。Rahu l等直接在原始图像上进行水平切片，然后将各片送入一个长短时记忆网络得到融合后的特征。Zhang等在水平切片的基础上加入了基于最短路径的分片匹配算法，使得硬分片方式的不对齐问题得
到了一定缓解。此类方法在行人姿态较为标准且统一的情况下效果较好，但真实场景下行人姿势变化很大，存在非直立状态如骑车、半身遮挡状态如雨伞、其他行人遮挡等情况，因此硬分片的方式会导致检索准确度降低。
[0007]Zhao等使用人体姿态估计模型提取出多个行人骨架关键点，根据关键点获取对应的像素区域后和原始图像一起进行训练来实现区域的对齐。Zheng等在骨架关键点的基础上利用仿射变换实现像素级姿态对齐，然后再进行特征提取。这些方法的局部对齐效果依赖于额外的姿态估计模型，并且不可避免地提高了模型参数量，不利于工程部署。

技术实现思路

[0008]为了克服上述现有技术中存在的缺陷，本专利技术的目的是提供一种基于局部抑制自注意力的行人重识别方法及系统。
[0009]为了实现本专利技术的上述目的，本专利技术提供了一种基于局部抑制自注意力的行人重识别方法，包括以下步骤：
[0010]采集原始行人图片样本，对样本进行预处理；
[0011]构建网络模型,该网络模型包括残差网络优化后的卷积骨干网络，该卷积骨干网络输出连接N个用于局部特征提取的自注意力分支，N个局部特征提取分支的输出级与卷积骨干网络输出的特征图进行残差连接，N为正整数；
[0012]利用预处理后的样本对该网络模型进行反向传播训练；
[0013]将目标图片于训练后的网络模型中进行行人重识别。
[0014]该基于局部抑制自注意力的行人重识别方法
[0015]该基于局部抑制自注意力的行人重识别方法在残差网络优化后的卷积骨干网络的基础上引入N个自注意力分支与全局分支进行残差连接以提取行人不同肢体部位的局部语义特征，其中残差网络由于其跳连接的操作可以使得模型拥有足够深度的同时避免梯度消失或梯度爆炸现象，N个自注意力分支的引入提高了对行人局部特征的提取精度，使得该基于局部抑制自注意力的行人重识别方法的识别能力更高。
[0016]该基于局部抑制自注意力的行人重识别方法的优选方案：对网络模型中进行训练的方法为：
[0017]将预处理后的图片送入所述卷积骨干网络进行全局特征提取，得到多通道的特征图；
[0018]将得到的多通道的特征图分别送入N个所述自注意力分支进行局部特征提取；
[0019]将自注意力分支的输出与卷积骨干网络输出的特征图进行残差连接，经过卷积骨干网络的池化和分类器计算损失函数，进行反向传播和更新网络参数，直至迭代完成后保存模型数据。
[0020]该基于局部抑制自注意力的行人重识别方法的优选方案：每个自注意力分支包括一个层归一化层和一个自注意力块，其中层归一化层通过对同一样本不同通道数据进行归一化，自注意力块使用视觉transformer中的多头注意力每个头的结构，通过建立每个特征与其他全部特征的关系得到全局感受野。
[0021]层归一化层通过对同一样本不同通道数据进行归一化避免了分布漂移现象，并且解决了批归一化层受样本批量大小影响的缺陷，可以加快模型收敛。自注意力块有效避免
了卷积网络局部感受野不足以关注全局信息的缺点的问题。因行人图像中背景占比不低，不同摄像头拍摄的背景千差万别，对行人身份的判断无疑是一种巨大干扰，而通过全局感受野建立长范围依赖可以有效地屏蔽掉不同背景的差异，使得模型聚焦于行人肢体区域。此外，当样本量较大时往往会出现某些部位外观相似的不同行人，如穿同样的鞋子或戴同样的墨镜等，全局感受野可以一定程度的缓解这种外观相似导致的身份误判情况。
[0022]该基于局部抑制自注意力的行人重识别方法的优选方案：反向传播后分别计算N个自注意力分支输出特征对应的类别激活热力图，根据每个自注意力分支的热力图对剩余分支进行输入抑制。
[0023]这样能迫使网络能挖掘出各不相同的局部语义特征，更有利于提取行人的多个次显著局部特征，同时避免了N个自注意力分支出现冗余，避免出现过于关注最显著的区域而忽视其他同样重要的次显著区域而造成信息的损失的问题。
[0024]优选方案：根据每个自注意力分支的热力图对剩余分支进行输入抑制的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部抑制自注意力的行人重识别方法，其特征在于，包括以下步骤：采集原始行人图片样本，对样本进行预处理；构建网络模型,该网络模型包括残差网络优化后的卷积骨干网络，该卷积骨干网络输出连接N个用于局部特征提取的自注意力分支，N个局部特征提取分支的输出级与卷积骨干网络输出的特征图进行残差连接，N为正整数；利用预处理后的样本对该网络模型进行反向传播训练；将目标图片于训练后的网络模型中进行行人重识别。2.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法，其特征在于，对网络模型中进行训练的方法为：将预处理后的图片送入所述卷积骨干网络进行全局特征提取，得到多通道的特征图；将得到的多通道的特征图分别送入N个所述自注意力分支进行局部特征提取；将自注意力分支的输出与卷积骨干网络输出的特征图进行残差连接，经过卷积骨干网络的池化和分类器计算损失函数，进行反向传播和更新网络参数，直至迭代完成后保存模型数据。3.根据权利要求1所述的基于局部抑制自注意力的行人重识别方法，其特征在于，每个自注意力分支包括一个层归一化层和一个自注意力块，其中层归一化层通过对同一样本不同通道数据进行归一化，自注意力块使用视觉transformer中的多头注意力每个头的结构，通过建立每个特征与其他全部特征的关系得到全局感受野。4.根据权利要求1或2所述的基于局部抑制自注意力的行人重识别方法，其特征在于，反向传播后分别计算N个自注意力分支输出特...

【专利技术属性】
技术研发人员：张森，尚赵伟，赵羚志，周明亮，
申请(专利权)人：重庆大学，
类型：发明
国别省市：