基于排序损失和Siamese网络的行人再识别方法技术

一种基于排序损失和Siamese网络的行人再识别方法，利用改进的Siamese网络学习特征，采用排序损失和两个SoftMax识别损失来来监督网络的学习。使用双向最大边界排序损失处理类内和类间相似度,这样学习到的特征具有更强的鲁棒性。利用行人图像的标签信息，采用Siamese网络提取的图像深度特征，区分检测到的行人。实验结果显示，与经典的行人再识别方法对比，所述基于排序损失和Siamese网络的行人再识别方法识别精度更高。

Pedestrian Recognition Based on Sorting Loss and Siamese Network

A pedestrian recognition method based on sorting loss and Siamese network is proposed. The improved learning feature of Siamese network is used to supervise the learning of the network by sorting loss and two SoftMax identifying losses. The two-way maximum boundary sorting loss is used to deal with the similarity between classes and within classes, so that the learned features have stronger robustness. Using the label information of pedestrian image and the image depth feature extracted by Siamese network, the detected pedestrians can be distinguished. The experimental results show that compared with the classical pedestrian recognition methods, the proposed pedestrian recognition method based on sorting loss and Siamese network has higher recognition accuracy.

【技术实现步骤摘要】
基于排序损失和Siamese网络的行人再识别方法
本专利技术涉及一种行人再识别方法，尤其涉及一种基于排序损失和Siamese网络的行人再识别方法。属于计算机视觉

技术介绍
行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，识别出跨摄像头跨场景下的行人是否为同一个人。行人再识别的应用领域广泛，例如视频监控、城市监管、刑事安防等。近几年，行人再识别发展迅速，吸引了许多研究者。但是，行人再识别的研究仍然存在很大的挑战，主要困难在于行人图像是由远离目标的摄像设备采集的，不同摄像设备之间又存在差异，导致图像中行人的细节特征不明显。另一方面，由于服装或姿势的变化，行人图像的不同类别可能是相似的，但相同种类的行人图像并不是非常相似。如图1所示，Market-1501数据集的一些照片清楚地显示了上述困难的存在。当前行人再识别研究大部分都是有监督学习方法，这些方法可以概括为3种：基于特征提取的方法，基于度量学习的方法和基于深度学习的方法。早期传统的行人再识别方法主要包括特征提取和度量学习，并且大都只关注其中的一个方面。特征提取通过手工提取一个具有分辨力和鲁棒性的行人特征来解决行人再识别问题。常用的手工特征包括颜色特征，纹理特征，也有其他一些对多种特征组合的方法。但是手工特征大部分只能适用于某些情况下拍摄的图像，对于未考虑到的特殊情况无法很好的适用，需要较高的经验水平。并且随着行人再识别研究的进行，手工特征对识别率的提升变得越来越小。鉴于手工特征研究中存在的问题和困难，度量学习的方法被应用于行人再识别问题。但是这种特征提取和度量学习相互独立的处理过程还是不能达到令人满意的效果，在拍照条件和环境差异较大时无法取得良好的效果，识别效果也不理想。
技术实现思路
针对有些不同行人图像之间比相同行人图像之间更相似所造成的行人再识别准确率较低的问题，本专利技术采用从排序角度基于深度学习的方法来解决行人再识别问题，对网络结构进行优化，提高识别精度。一种基于排序损失和Siamese网络的行人再识别方法，利用改进的Siamese网络学习特征，采用排序损失和两个SoftMax识别损失来监督网络的学习。使用双向最大边界排序损失处理类内和类间相似度，这样学习到的特征具有更强的鲁棒性。利用行人图像的标签信息，采用siamese网络提取的图像深度特征，区分检测到的行人。实验结果显示，与经典的行人再识别方法对比，所述基于排序损失和Siamese网络的行人再识别方法识别精度更高。本专利技术提出的一种基于Siamese网络结合识别损失和排序损失的行人再识别方法，包括以下步骤：S1，视频采集设备实时采集视频数据；S2，对所述视频数据进行行人检测，生成四元图像组；S3，把四元图像组输入到改进的Siamese网络进行特征向量提取；所述改进的Siamese网络结合识别损失和排序损失监督网络在训练集上进行训练，并且通过正负样本对的相似度差值大于预定阈值，使得负例图像对之间的距离大于正例图像对；S4，通过计算两个特征向量之间的距离来判断是否为同一行人，所述距离采用余弦相似度进行度量。所述步骤S2中的所述四元图像组表示为：(Xp，Yp，Xn，Yn)，其中Xp，Yp，Xn，Yn分别代表输入图像，(Xp，Yp)代表相同图像对，它们具有相同的类别标签，(Xn，Yn)代表其他图像对，(Xn，Yn)分别和(Xp，Yp)具有不相同的类别标签；并且，相同类图像之间的距离小于不同类图像之间的距离，即Dis(Xp，Yp)＜Dis(Xp，Yn)(2)Dis(Yp，Xp)＜Dis(Yp，Xn)(3)其中Dis(*，*)代表距离度量，(Xp，Yp)为输入的正样例，(Xn，Yn)为输入的负样例。所述步骤S3中的所述改进的Siamese网络包括两个经过训练的卷积神经网络(CNN)。所述步骤S3中的所述改进的Siamese网络的目标函数包括第一识别损失、排序损失和第二识别损失；所述第一识别损失和第二识别损失均为SoftMax损失；所述SoftMax损失定义为：其中，N代表样本的个数，C表示样本类别的种类数，pi表示SoftMax函数输出的C维的表示概率的列向量，yi表示样本，代表在样本yi的位置上的概率值；所述排序损失采用双向最大边界排序损失函数进行度量；所述双向最大边界排序损失函数的公式为：Lrank＝max[0，m-(D(Xp，Yp)-D(Xp，Yp))]+max[0，m-(D(Xp，Yp)-D(Yp，Xn))](4)其中m是最大损失边界，并且它的大小影响训练中收敛的速度和效率，Lrank为双向最大边界排序损失函数；D(*，*)表示余弦相似度的分数；图像的相似度越大则D(*，*)表示余弦相似度的分数越高；得到最终的排序损失公式Lrank`为：其中m仍然是最大损失边界，并且它的大小影响训练中收敛的速度和效率，Lrank`为最终的双向最大边界排序损失函数；其中Xp，Yp，Xn，Yn分别代表输入图像，fXp，fYp，fXn，fYn分别代表输入图像的特征向量，||*||2代表L2规范化；当正样本的相似性分数减去负样本的相似性分数大于m，则损失为0；通过改变m来调整两对图像之间相似度的约束强度。所述步骤S4中的所述余弦相似度的公式为其中||*||2代表L2规范化，xi和xj代表两个输入实例，fi和fj分别代表两个实例的特征向量，D(xi，xj)为两个实例之间的余弦相似度。所述步骤S3中的改进的Siamese网络的目标函数最终为其中，L1softmax表示第一识别损失，L2softmax表示第二识别损失，由于两个网络分支权重共享，因此这两个损失的权重相等，在加权求和时权重均为1，Lrank`表示为最终的双向最大边界排序损失，权重为μ；即Siamese网络的目标函数表示为排序损失和两种识别损失的加权求和，其中权值μ是为了权衡排序损失和两种识别损失之间的影响。本专利技术的有益效果：通过构建一个Siamese网络来解决行人再识别问题，为行人再识别问题提供端到端的解决方案，获得了良好的行人再识别效果；所述基于排序损失和Siamese网络的行人再识别方法可以让计算机即使不看脸，也能通过衣物、发型、体态等信息，跨摄像头跨场景准确追踪到行人的位置。通过计算机视觉技术，在人脸被遮挡、距离过远时依旧可以从不同摄像机镜头中追踪行人；所述基于排序损失和Siamese网络的行人再识别方法为人脸识别技术提供了重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性；所述基于排序损失和Siamese网络的行人再识别方法可以广泛应用于视频监控、智能安保、智能商业等领域，识别效果好。附图说明附图示出了本专利技术的示例性实施方式，并与其说明一起用于解释本专利技术的原理，其中包括了这些附图以提供对本专利技术的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。图1是数据集中的行人图像；图2是Siamese网络结构；图3是伪孪生网络(pseudo-Siamesenetwork)结构；图4是特征映射后的聚类效果；图5是基于排序损失和Siamese网络的行人再识别方法的网络结构。具体实施方式下面结合附图和实施方式对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关本文档来自技高网...

【技术保护点】
1.一种基于Siamese网络结合识别损失和排序损失的行人再识别方法，其特征在于：包括以下步骤：S1，视频采集设备实时采集视频数据；S2，对所述视频数据进行行人检测，生成四元图像组；S3，把四元图像组输入到改进的Siamese网络进行特征向量提取；所述改进的Siamese网络结合识别损失和排序损失监督网络在训练集上进行训练，并且通过正负样本对的相似度差值大于预定阈值，使得负例图像对之间的距离大于正例图像对；S4，通过计算两个特征向量之间的距离来判断是否为同一行人，所述距离采用余弦相似度进行度量。

【技术特征摘要】
1.一种基于Siamese网络结合识别损失和排序损失的行人再识别方法，其特征在于：包括以下步骤：S1，视频采集设备实时采集视频数据；S2，对所述视频数据进行行人检测，生成四元图像组；S3，把四元图像组输入到改进的Siamese网络进行特征向量提取；所述改进的Siamese网络结合识别损失和排序损失监督网络在训练集上进行训练，并且通过正负样本对的相似度差值大于预定阈值，使得负例图像对之间的距离大于正例图像对；S4，通过计算两个特征向量之间的距离来判断是否为同一行人，所述距离采用余弦相似度进行度量。2.一种如权利要求1所述的基于Siamese网络结合识别损失和排序损失的行人再识别方法，其特征在于：所述步骤S2中的所述四元图像组表示为：(Xp，Yp，Xn，Yn)，其中Xp，Yp，Xn，Yn分别代表输入图像，(Xp，Yp)代表相同图像对，它们具有相同的类别标签，(Xn，Yn)代表其他图像对，(Xn，Yn)分别和(Xp，Yp)具有不相同的类别标签；并且，相同类图像之间的距离小于不同类图像之间的距离，即Dis(Xp，Yp)＜Dis(Xp，Yn)(2)Dis(Yp，Xp)＜Dis(Yp，Xn)(3)其中Dis(*，*)代表距离度量，(Xp，Yp)为输入的正样例，(Xn，Yn)为输入的负样例。3.一种如权利要求1所述的基于Siamese网络结合识别损失和排序损失的行人再识别方法，其特征在于：所述步骤S3中的所述改进的Siamese网络包括两个经过训练的卷积神经网络(CNN)。4.一种如权利要求1所述的基于Siamese网络结合识别损失和排序损失的行人再识别方法，其特征在于：所述步骤S3中的所述改进的Siamese网络的目标函数包括第一识别损失、排序损失和第二识别损失；所述第一识别损失和第二识别损失均为SoftMax损失；所述SoftMax损失定义为：其中.N代表样本的个数，C表示样本类别的种类数，pi表示SoftMax函数输出的C维的表示概率的列向量，yi表示...

【专利技术属性】
技术研发人员：祁子梁，曲寒冰，董良，
申请(专利权)人：北京市新技术应用研究所，
类型：发明
国别省市：北京,11