基于TOIM损失函数的行人重识别方法技术

本发明专利技术公开了一种基于TOIM损失函数的行人重识别方法，包括以下步骤：S1、准备数据集，数据集中每个不同身份的行人具有不同ID；S2、利用pytorch框架搭建基于ResNet‑50模型的网络模型；S3、将数据集中训练集的图片输入至网络模型中进行训练；S4、将数据集中测试集的图片输入至训练好的网络模型中，识别行人身份。本发明专利技术结合了在线实例匹配（OIM)损失函数和三重（Triplet）损失函数的优势，同时强调了对困难样本的重视和简化了三重损失函数的批处理构造过程，从而使得收敛速度大大加快，有效地提高了行人重识别的准确率。

Pedestrian recognition based on toim loss function

【技术实现步骤摘要】
基于TOIM损失函数的行人重识别方法
本专利技术属于行人重识别
，尤其涉及一种基于TOIM损失函数的行人重识别方法。
技术介绍
行人重识别也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人重识别成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。一直以来，行人重识别领域中最显著的挑战是挖掘相同身份的行人在不同场景中共有特征，以及不同身份的行人在同一场景下的特有特征。现有的行人重识别方法主要采用在线实例匹配(OnlineInstanceMatching，简称OIM)损失函数和三重(Triplet)损失函数。然而，对于在线实例匹配损失函数来说，其存在的主要缺点是所有的样本都被平等对待，没有针对困难样本(hardsamples)进行特殊训练。其中，所述的困难样本(hardsamples)是指anchor样本与positive样本属于同一身份，特征之间的距离用d(a,p)表示，anchor样本和negative样本属于不同身份，特征之间的距离用d(a,n)表示，从图5可以明显看出d(a,p)>>d(a,n)，因此，该类样本就属于困难样本(hardsamples)。而对于三重损失函数来说，其存在的缺点是构造批处理的过程比较复杂和繁琐，无法针对检测和重识别的双重任务进行在线训练，而且损失下降较慢，收敛比较缓慢。公开号为CN110059616A的现有技术在2019年7月26日公开了一种基于融合损失函数的行人重识别模型优化方法，包括(1)利用神经网络训练得到行人重识别模型后，利用交叉熵损失函数计算模型中每个行人图像特征空间相似度；(2)根据空间相似度设置损失阈值，并利用阈值构造三元组对象；(3)利用三元组对象构造三重损失函数迭代优化，得到优化后的行人重识别模型。该文献的特点是结合交叉熵损失函数和三重损失函数，将深度学习和特征识别应用在行人重识别问题上面，对提高治安管理具有重要的意义。但在实际应用过程中发现，该文献仍然存在一些缺陷,例如对于交叉熵损失函数，随着行人类型(不同身份的人)数量的增多，训练一个如此庞大的交叉熵分类器会变得极其的慢，同时交叉熵损失函数对所有样本同等对待，甚至更糟糕的时候网络会无法收敛；对于三重损失函数而言，没有选择困难样本进行训练，同时当输入数据不断增加时，采样复杂度也在提升。
技术实现思路
本专利技术的目的在于克服现有技术中存在的上述问题，提供了一种基于TOIM损失函数的行人重识别方法，本专利技术结合了在线实例匹配(OIM)损失函数和三重(Triplet)损失函数的优势，同时强调了对困难样本的重视和简化了三重损失函数的批处理构造过程，从而使得收敛速度大大加快，有效地提高了行人重识别的准确率。为实现上述目的，本专利技术采用的技术方案如下：一种基于TOIM损失函数的行人重识别方法，其特征在于，包括以下步骤：S1、准备数据集，数据集中每个不同身份的行人具有不同ID；S2、利用pytorch框架搭建基于ResNet-50模型的网络模型；S3、将数据集中训练集的图片输入至网络模型中进行训练；S4、将数据集中测试集的图片输入至训练好的网络模型中，识别行人身份。所述步骤S1中，所述的数据集为数据集Duke、数据集Market-1501、数据集UESTC-PR中的一种,当数据集为数据集UESTC-PR时，其准备过程为：将若干摄像头架设在UESTC-PR中的路灯顶端，由摄像头俯视采集行人图片，采集的行人图片为至少三个摄像头在同一场景下拍摄的图像的集合，采集完后得到数据集UESTC-PR，然后对数据集UESTC-PR中每个不同身份的行人标定不同ID，并划分为训练集和测试集。所述步骤S2中，所述的网络模型依次包括卷积层、块结构、平均池化层和全连接层，其中，块结构的数量为4个，每个块结构分别包含3，4，6，3个残差单元。所述步骤S2中，所述的网络模型搭建后，使用AdaDelta优化器进行初始化，初始学习率设置为0.001，批处理图片数量设置为M，M为15—30。所述步骤S2中，所述的网络模型中图片的输入维度为M*3*256*128，M代表批处理图片数量，3代表通道数，256*128为图片大小；图片的输出维度为M*512，512代表每张图片中行人的512维特征信息。所述步骤S3的训练过程为：(1)、利用交叉熵损失函数对网络模型进行预训练；(2)、预设每个ID对应生成一个用于存储该ID所对应行人在不同摄像头下的512维特征信息的存储表，然后将训练集中的图片输入到经步骤(1)训练好的网络模型中，利用网络模型的输出结果初始化所有ID的存储表；(3)、结合步骤(2)中的存储表对经步骤(1)训练好的网络模型进行再训练。所述步骤(2)中，每个ID的特征用f∈RD来表示，D代表行人的特征维度信息，每个存储表用V∈RD×C表示,C代表数据制作过程中所采用的摄像头的数量。所述步骤(3)中采用批次迭代训练方式进行再训练，具体过程如下：A、从所有存储表中选择N个anchor样本作为第一批次训练样本(N＝M)，将该批次中N个anchor样本所对应的ID和摄像头信息存储至预设的更新表中，更新表的长度为U(U>N)；然后从所有存储表中为每个anchor样本挑选对应的positive样本和negative样本，得到N个均包含anchor样本、positive样本和negative样本的三元样本组，将三元样本组输入至网络模型中，计算每个三元样本组中样本间的欧氏距离，并根据得到的欧氏距离计算出该批次中N个样本的损失值，再利用损失值进行反向传播更新存储表；B、将剩余样本分成多个批次，每批次同样包括N个anchor样本，采用队列更新的方式将每批次中N个anchor样本所对应的ID和摄像头信息存储至更新表中，然后从所有存储表中为每个anchor样本挑选对应的positive样本，从更新表中为每个anchor样本挑选对应的negative样本，得到N个均包含anchor样本、positive样本和negative样本的三元样本组，将三元样本组输入至网络模型中，计算每个三元样本组中样本间的欧氏距离，并根据得到的欧氏距离计算出每批次N个样本的损失值，再利用损失值进行反向传播更新存储表；C、重复步骤A和步骤B，直至所有训练样本完成13个epoch，训练完成。所述步骤A和步骤B中，损失值的计算方法为：式中，LTOIM表示损失值，d()表示两个样本之间的欧氏距离，fai表示ID为i的anchor样本，fpi表示ID为i，但是距离与anchor样本最本文档来自技高网...

【技术保护点】
1.一种基于TOIM损失函数的行人重识别方法，其特征在于，包括以下步骤：/nS1、准备数据集，数据集中每个不同身份的行人具有不同ID；/nS2、利用pytorch框架搭建基于ResNet-50模型的网络模型；/nS3、将数据集中训练集的图片输入至网络模型中进行训练；/nS4、将数据集中测试集的图片输入至训练好的网络模型中，识别行人身份。/n

【技术特征摘要】
1.一种基于TOIM损失函数的行人重识别方法，其特征在于，包括以下步骤：
S1、准备数据集，数据集中每个不同身份的行人具有不同ID；
S2、利用pytorch框架搭建基于ResNet-50模型的网络模型；
S3、将数据集中训练集的图片输入至网络模型中进行训练；
S4、将数据集中测试集的图片输入至训练好的网络模型中，识别行人身份。


2.根据权利要求1所述的基于TOIM损失函数的行人重识别方法，其特征在于：所述步骤S1中，所述的数据集为数据集Duke、数据集Market-1501、数据集UESTC-PR中的一种,当数据集为数据集UESTC-PR时，其准备过程为：将若干摄像头架设在UESTC-PR中的路灯顶端，由摄像头俯视采集行人图片，采集的行人图片为至少三个摄像头在同一场景下拍摄的图像的集合，采集完后得到数据集UESTC-PR，然后对数据集UESTC-PR中每个不同身份的行人标定不同ID，并划分为训练集和测试集。


3.根据权利要求1所述的基于TOIM损失函数的行人重识别方法，其特征在于：所述步骤S2中，所述的网络模型依次包括卷积层、块结构、平均池化层和全连接层，其中，块结构的数量为4个，每个块结构分别包含3，4，6，3个残差单元。


4.根据权利要求1所述的基于TOIM损失函数的行人重识别方法，其特征在于：所述步骤S2中，所述的网络模型搭建后，使用AdaDelta优化器进行初始化，初始学习率设置为0.001，批处理图片数量设置为M，M为15—30。


5.根据权利要求1所述的基于TOIM损失函数的行人重识别方法，其特征在于：所述步骤S2中，所述的网络模型中图片的输入维度为M*3*256*128，M代表批处理图片数量，3代表通道数，256*128为图片大小；图片的输出维度为M*512，512代表每张图片中行人的512维特征信息。


6.根据权利要求1—5中任一项所述的基于TOIM损失函数的行人重识别方法，其特征在于：所述步骤S3的训练过程为：
(1)、利用交叉熵损失函数对网络模型进行预训练；
(2)、预设每个ID对应生成一个用于存储该ID所对应行人在不同摄像头下的512维特征信息的存储表，然后将训练集中的图片输入到经步骤(1)训练好的网络模型中，利用网络模型的输出结果初始化所有ID的存储表；
(3)、结合步骤(2)中的存储表对经步骤(1)训练好的网络模型进行再训练。


7.根据权利要求6所...

【专利技术属性】
技术研发人员：李耶，殷光强，刘学婷，候少麒，向凯，石方炎，李超，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51