全局遮挡自适应的行人训练/识别方法、系统、设备及介质技术方案

本发明专利技术提供一种全局遮挡自适应的行人训练/识别方法、系统、设备及介质，行人训练方法包括：接收训练数据集；提取每一幅图片的属性特征图；将同一行人的所有属性特征图进行融合，获取若干行人的融合特征；从多张属性特征图中提取局部特征及从若干行人的融合特征提取全局特征；根据局部特征和全局特征，提取局部特征的注意力，以计算分别用于表征局部特征的局部特征注意力增强后的特征和用于表征全局特征的全局特征在屏蔽图片遮挡信息后的特征；对局部特征注意力增强后的特征和全局特征在屏蔽图片遮挡信息后的特征进行损失计算。本发明专利技术降低了人为操作偏差带来的模型误差；解决了常用的模型评判指标无法指导工程上设定阈值的问题。

【技术实现步骤摘要】
全局遮挡自适应的行人训练/识别方法、系统、设备及介质
本专利技术属于图像识别
，涉及一种训练/识别方法、系统，特别是涉及一种全局遮挡自适应的行人训练/识别方法、系统及介质。
技术介绍
行人重识别指通过计算机视觉方法，描述与比对图像或视频序列中的行人，判断是否存在指定行人的技术。由于在不同图像或视频中环境条件，行人姿态与遮挡情况，摄像头角度各异，行人重识别为一个富有挑战性的课题。早期的行人属性识别主要通过人为地选取行人图像颜色，纹理等信息，从而构建行人的表观特征，针对性地训练分类器。典型的例子有HOG，SIFT，SVM，CRF模型等。但这些传统算法远远不够满足实际应用的需求。受现代深度学习的迅速发展影响，行人重识别现今发展主要依靠卷积神经网络技术，主要使用的方法包括表征学习，度量学习等，并结合图像序列，行人全局，部位注意力等手段提高识别能力。表征学习又称特征学习，表示的是通过计算机将原始数据编码为机器更容易理解和计算的特征。度量学习指的是通过学习相似度信息，改变特征分布空间的方法，使同一个行人的特征距离被拉近，不同行人的特征距离被拉远。两种方法往往放在一起使用。行人重识别课题现今仍面临以下问题：(1)行人存在不同程度的遮挡。遮挡可以分为两类：外部遮挡和内部遮挡。外部遮挡表示人体受到与之无关物体的遮挡，如车辆，消防栓等；内部遮挡指由于探头的角度，人体姿态等因素，某些特征受到自身遮挡，如从人体正面观察，无法看到人体背面衣服的logo，背包信息；(2)评判行人重识别模型的指标与实际应用方式有所差距。行人重识别算法主要通过mAP和CMC曲线对算法的能力进行评判，但这两个指标仅考虑搜索的排序，而不考虑算法在实际场景下的应用，这实际上会给产品带来一定的不稳定性。因此，如何提供一种全局遮挡自适应的行人训练/识别方法、系统、设备及介质，以解决现有技术行人不同方向，不同姿态，摄像头不同角度导致的遮挡现象，并提出新的评价指标，解决识别模型现有的评价指标在工程应用中没有直观应用体现的现象等缺陷，实已成为本领域技术人员亟待解决的技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种全局遮挡自适应的行人训练/识别方法、系统及存储介质，用于解决现有技术中行人不同方向，不同姿态，摄像头不同角度导致的遮挡现象，并提出新的评价指标，解决识别模型现有的评价指标在工程应用中没有直观应用体现的现象的问题。为实现上述目的及其他相关目的，本专利技术一方面提供一种全局遮挡自适应的行人训练方法，包括：接收训练数据集；所述训练数据集包括N个行人，每个行人具有M张图片；其中，N大于1，M大于1；提取每一幅图片的属性特征图，以输出NxM属性特征图；将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征；从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征；根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和用于表征所述全局特征的全局特征在屏蔽图片遮挡信息后的特征；所述局部特征的注意力用于描述图片的遮挡信息；对所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信息后的特征进行损失计算。于本专利技术的一实施例中，所述提取每一幅图片的属性特征图，以输出多张属性特征图的步骤包括：利用预存的卷积神经网络，将每一幅图片转换成属性特征图；每一幅图片的图片维度为(3，H，W)，H表示高度，W表示宽度；属性特征图的维度为(C，H，W)，C表示卷积通道数。于本专利技术的一实施例中，所述将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征的步骤包括：对每一副属性特征图进行重塑，使之成为维度为(1，CxH，W)的属性特征图；将所有的属性特征图进行拼接，使之成为维度为(M，CxH，W)的特征图；在所述特征图的第一维做全局最大池化处理；将拼接后的特征图重塑成维度为(C，H，W)的属性特征图，使之保留每一个行人的M张图片中每一张图片的显著特征，并将其进行融合，形成每一个行人的融合特征。于本专利技术的一实施例中，所述从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征的步骤包括：将所述多张属性特征图转换成为NxM条特征矢量；其中，每一张图片对应的每一条特征矢量表示局部特征；将若干行人的融合特征转换成为N条特征矢量；其中，每一条特征矢量表示全局特征。于本专利技术的一实施例中，所述根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和用于表征所述全局特征的全局特征在屏蔽图片遮挡信息后的特征的步骤包括：所述局部特征和所述全局特征经过一卷积网络结构，建立关联矩阵；所述关联矩阵用于表达局部特征或全局特征的每个像素与所有像素之间的关系；通过所述关联矩阵，重构所述关联矩阵中横向的第一关系向量和纵向的第二关系向量；将局部特征、第一关系向量及进行拼接，再经过另一卷积网络结构后，提取出局部特征的注意力；将局部特征与局部特征的注意力相乘，获取局部特征注意力增强后的特征；将全局特征与局部特征的注意力相乘，获取全局特征在屏蔽图片遮挡信息后的特征。于本专利技术的一实施例中，对所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信息后的特征进行损失计算的步骤包括：从表征学习的角度出发，将所述局部特征注意力增强后的特征和全局特征在屏蔽图片遮挡信息后的特征输入至卷积神经网络的全连接层，使其映射到等同于训练数据集的行人数量的长度的特征上，计算用于反映分类问题的损失；从度量学习的角度出发，计算用于反馈拉近同类距离，推开异类距离的损失；及计算用于统一所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信息后的特征的特征。本专利技术另一方面提供一种全局遮挡自适应的行人识别方法，包括：接收待检测数据集；所述待检测数据集包括2副图片；提取每一幅图片的属性特征图，以输出每副图片的属性特征图；从所述属性特征图中提取局部特征；根据所述局部特征，提取局部特征的注意力，以获取每副图片的归一化特征；所述归一化特征包括用于表征所述局部特征的局部特征注意力增强后的特征；所述局部特征的注意力用于描述图片的遮挡信息；根据每副图片的归一化特征及局部特征的注意力，计算两幅图片之间的相识度。本专利技术再一方面提供一种全局遮挡自适应的行人训练系统，包括：数据接收模块，用于接收训练数据集；所述训练数据集包括N个行人，每个行人具有M张图片；其中，N大于1，M大于1；第一特征提取模块，用于提取每一幅图片的属性特征图，以输出NxM属性特征图；融合模块，用于将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征；第二特征提取模块，用于从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征；注意力提取模块，用于根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和本文档来自技高网...

【技术保护点】
1.一种全局遮挡自适应的行人训练方法，其特征在于，包括：/n接收训练数据集；所述训练数据集包括N个行人，每个行人具有M张图片；其中，N大于1，M大于1；/n提取每一幅图片的属性特征图，以输出NxM属性特征图；/n将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征；/n从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征；/n根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和用于表征所述全局特征的全局特征在屏蔽图片遮挡信息后的特征；所述局部特征的注意力用于描述图片的遮挡信息；/n对所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信息后的特征进行损失计算。/n

【技术特征摘要】
1.一种全局遮挡自适应的行人训练方法，其特征在于，包括：
接收训练数据集；所述训练数据集包括N个行人，每个行人具有M张图片；其中，N大于1，M大于1；
提取每一幅图片的属性特征图，以输出NxM属性特征图；
将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征；
从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征；
根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和用于表征所述全局特征的全局特征在屏蔽图片遮挡信息后的特征；所述局部特征的注意力用于描述图片的遮挡信息；
对所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信息后的特征进行损失计算。


2.根据权利要求1所述的全局遮挡自适应的行人训练方法，其特征在于，所述提取每一幅图片的属性特征图，以输出多张属性特征图的步骤包括：
利用预存的卷积神经网络，将每一幅图片转换成属性特征图；每一幅图片的图片维度为(3，H，W)，H表示高度，W表示宽度；属性特征图的维度为(C，H，W)，C表示卷积通道数。


3.根据权利要求1所述的全局遮挡自适应的行人训练方法，其特征在于，所述将同一行人的所有属性特征图进行融合，形成该行人的融合特征，并获取若干行人的融合特征的步骤包括：
对每一副属性特征图进行重塑，使之成为维度为(1，CxH，W)的属性特征图；
将所有的属性特征图进行拼接，使之成为维度为(M，CxH，W)的特征图；
在所述特征图的第一维做全局最大池化处理；
将拼接后的特征图重塑成维度为(C，H，W)的属性特征图，使之保留每一个行人的M张图片中每一张图片的显著特征，并将其进行融合，形成每一个行人的融合特征。


4.根据权利要求1所述的全局遮挡自适应的行人训练方法，其特征在于，所述从所述多张属性特征图中提取局部特征及从所述若干行人的融合特征提取全局特征的步骤包括：
将所述多张属性特征图转换成为NxM条特征矢量；其中，每一张图片对应的每一条特征矢量表示局部特征；
将若干行人的融合特征转换成为N条特征矢量；其中，每一条特征矢量表示全局特征。


5.根据权利要求4所述的全局遮挡自适应的行人训练方法，其特征在于，所述根据所述局部特征和所述全局特征，提取局部特征的注意力，以计算分别用于表征所述局部特征的局部特征注意力增强后的特征和用于表征所述全局特征的全局特征在屏蔽图片遮挡信息后的特征的步骤包括：
所述局部特征和所述全局特征经过一卷积网络结构，建立关联矩阵；所述关联矩阵用于表达局部特征或全局特征的每个像素与所有像素之间的关系；
通过所述关联矩阵，重构所述关联矩阵中横向的第一关系向量和纵向的第二关系向量；
将局部特征、第一关系向量及进行拼接，再经过另一卷积网络结构后，提取出局部特征的注意力；
将局部特征与局部特征的注意力相乘，获取局部特征注意力增强后的特征；
将全局特征与局部特征的注意力相乘，获取全局特征在屏蔽图片遮挡信息后的特征。


6.根据权利要求5所述的全局遮挡自适应的行人训练方法，其特征在于，对所述局部特征注意力增强后的特征和所述全局特征在屏蔽图片遮挡信...

【专利技术属性】
技术研发人员：成西锋，马卫民，袁德胜，游浩泉，林治强，党毅飞，崔龙，李伟超，王海涛，
申请(专利权)人：汇纳科技股份有限公司，
类型：发明
国别省市：上海;31