一种基于对比聚类的无监督行人重识别方法技术

本发明专利技术公开了一种基于对比聚类的无监督行人重识别方法，该方法包括以下步骤：使用初始特征编码器对无标注行人图像数据集进行前向计算，使用编码的特征初始化特征存储单元；在每轮训练前对特征存储单元进行聚类，根据聚类独立性标准与聚类紧密性标准进行聚类结果的筛选；对每一组小批量训练样本进行特征编码，利用统一对比损失函数进行网络的反向传播更新；使用编码的特征以动量更新的方式动态更新特征存储单元中的实例特征；根据预先设定的训练轮回数循环进行特征编码器及特征存储单元的更新，直到所述行人重识别网络收敛。本发明专利技术利用对比聚类的方法，充分挖掘未聚类离群值的可用信息，提高了无监督行人重识别模型的识别准确性。别准确性。别准确性。

【技术实现步骤摘要】
一种基于对比聚类的无监督行人重识别方法


[0001]本专利技术涉及计算机视觉和行人重识别领域，特别涉及一种基于对比聚类的无监督行人重识别方法。

技术介绍

[0002]行人重识别也称行人再识别，被认为是一个图像检索的子问题，目标是在不重叠的多个监控摄像区域中检索特定行人。行人重识别技术可以弥补单个固定摄像头的视觉局限，并可与行人检测及行人跟踪技术相结合，被广泛应用于智能监控、视频追踪等安防领域。随着深度学习技术的发展与大规模数据集的提出，目前有监督的行人重识别方法在性能上取得了巨大的提升，然而基于有监督学习的算法极大地依赖于人工标注的真实标签，阻碍了行人重识别技术的进一步发展。另一方面，在现实中很容易获取大量无标注的行人图像数据，研究如何使用大规模无标注行人图像训练更为鲁棒的行人重识别模型，具有较大的研究价值。因此，无需任何标注信息的无监督行人重识别方法被提出以解决上述问题。
[0003]无监督行人重识别方法中主要包括基于伪标签的方法和基于图像生成的方法，其中基于聚类的伪标签法被证实较为有效，且保持目前最先进的精度。目前大部分基于聚类的伪标签方法在训练上分为两步：第一步，使用初始特征编码器对行人图像进行特征编码；第二步，对编码的特征进行聚类得到伪标签，以监督网络的训练。尽管该类方法可以一定程度上随着模型的优化不断提升伪标签的质量，但是模型的训练往往被无法避免的伪标签噪声所干扰，并且在初始伪标签噪声较大的情况下，模型有较大的崩溃风险。此外，基于聚类的伪标签方法往往没有用到全部的无标签训练数据，基于密度的聚类算法本身会产生聚类离群值，这些聚类离群值由于无法分配伪标签，通常被简单地丢弃而不用于模型训练。然而此类聚类离群值往往正是行人数据集中值得挖掘的困难训练样本，尤其在训练的早期，往往存在大量的聚类离群值，若简单丢弃它们将大幅减少训练样本，严重损害模型的性能。
[0004]对比学习近几年被广泛应用在无监督表示学习任务上，对比学习可以在无监督的情况下,让模型充分学习到同类别样本之间的相似性,以及不同类别之间的差异性，将每一个未标注的样本视为不同的类别，通过优化对比损失去学习样本实例的判别性表示。然而目前的对比损失大多为样本实例级别的，难以正确地度量行人图像数据集中的类内关系。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种基于对比聚类的无监督行人重识别方法，通过进行聚类簇质心及未聚类离群值的联合对比学习，充分挖掘目标域数据集中的困难训练样本，并有效地建模行人的类内关系。
[0006]具体而言，本专利技术提出的一种基于对比聚类的无监督行人重识别方法的技术方案包括以下步骤：
[0007]步骤1：使用初始特征编码器f
θ
对无标注训练数据集中的行人图像进行前向计算，利用编码的特征初始化基于类别原型的特征存储单元；
[0008]步骤2：在每轮训练前使用DBSCAN聚类算法对特征存储单元中的编码特征进行聚类，根据聚类可靠性评价标准进行聚类结果的筛选；
[0009]步骤3：对于每一组小批量训练样本，使用编码器f
θ
对其进行特征编码得到小批量样本特征f，利用统一对比损失函数计算小批量样本特征f与特征存储单元中特征之间的损失，并进行网络的反向传播更新；
[0010]步骤4：在每一次迭代训练过程中，利用小批量训练样本前向计算得到的编码特征，以动量更新的方式动态更新特征存储单元；
[0011]步骤5：根据预先设定的训练轮回数，循环进行步骤2
‑
步骤4，直到行人重识别模型收敛。
[0012]进一步地，步骤1中特征编码器及特征存储单元的初始化过程为：
[0013]使用ResNet
‑
50深度神经网络作为特征编码器f
θ
，并使用ImageNet图像数据集上的预训练权重对其进行初始化；
[0014]使用特征编码器f
θ
对行人图像数据集中的样本进行前向计算提取特征，得到特征集合{v1,
…
,v
n
}，其中n表示行人图像数据集中的样本数量，将特征集合中的特征以实例为单位全部存储到特征存储单元中，使得在聚类簇和未聚类离群值不断变化的情况下，特征存储单元中的类别原型仍然能够得到持续更新。
[0015]进一步地，步骤2中对特征的聚类及筛选过程为：
[0016]首先使用DBSCAN聚类算法对步骤1中特征存储单元中的特征集合{v1,
…
,v
n
}进行聚类，特征存储单元中的类别原型进一步分为聚类簇质心及未聚类离群值实例其中n
c
表示聚类簇的数量，n
o
表示未聚类离群值的数量，随后依据聚类独立性与聚类紧密性标准，对聚类的结果进行筛选，并采用k
‑
reciprocal近邻算法对检索结果进行重排序。
[0017]特征存储单元中的聚类簇和未聚类实例都被看作平等且独立的类，故聚类的可靠性对训练的影响至关重要，且网络在训练的一开始对于图像的辨别性较差，聚类的噪声也较大，因此提出自步学习策略改善聚类的效果。具体地，在每轮训练开始前重新进行聚类，从最可靠的聚类开始，保留可靠的聚类簇，而将不可靠的聚类簇中的特征拆解回无聚类的离群值实例中，逐步增加聚类簇的数量，通过调整DBSCAN聚类算法中样本的∈
‑
邻域距离阈值，交替放宽与缩紧聚类标准，得到更为可靠的聚类结果。
[0018]所述聚类独立性标准用于度量类间距离，表现为特征集合与放宽聚类标准后特征集合之间的交并比：
[0019][0020]其中|
·
|表示集合中特征的数量，I(f
i
)表示同一个聚类簇中的样本集合，I
loose
(f
i
)表示放宽聚类标准后同一个簇中的样本集合，R
indep
(f
i
)表示簇I(f
i
)的独立性得分；
[0021]所述聚类紧密性标准用于度量类内距离，表现为特征集合与缩紧聚类标准后特征集合之间的交并比：
[0022][0023]其中I
tight
(f
i
)表示缩紧聚类标准后同一个聚类簇中的样本集合，R
comp
(f
i
)表示簇I(f
i
)的紧密性得分；
[0024]通过以上聚类可靠性评价标准实现聚类簇之间的独立性及样本之间的紧密性的度量，该聚类可靠性评价标准的出发点在于，一个可靠的聚类应当在多尺度的聚类环境下保持稳定，设置超参数α,β∈[0,1]表示独立性和紧密性阈值，保留类间独立性R
comp
(f
i
)>α且类内紧密性R
indep
(f
i
)>β的聚类簇样本，将其余样本划分为未聚类的离群值。
[0025]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比聚类的无监督行人重识别方法，其特征在于，包括以下步骤：步骤1：使用初始特征编码器对无标注行人图像数据集进行前向计算，使用编码的特征初始化基于类别原型的特征存储单元；步骤2：在每轮训练前进行特征存储单元中编码特征的聚类，根据聚类可靠性评价标准进行聚类结果的筛选；步骤3：使用特征编码器对每一组小批量训练样本进行特征编码，利用统一对比损失函数进行网络的反向传播，更新特征编码器；步骤4：利用编码的特征以动量更新的方式动态更新特征存储单元；步骤5：根据训练轮回数循环进行步骤2
‑
步骤4，直到所述行人重识别网络收敛。2.根据权利要求1所述的一种基于对比聚类的无监督行人重识别方法，其特征在于，所述步骤1包括：使用ResNet
‑
50深度神经网络作为特征编码器，并使用ImageNet图像数据集上的预训练权重对其进行初始化；使用特征编码器对行人图像数据集中的样本进行特征提取，得到特征集合{v1,
…
,v
n
}，将样本特征以实例为单位全部保存到特征存储单元中。3.根据权利要求1所述的一种基于对比聚类的无监督行人重识别方法，其特征在于，所述步骤2包括：使用DBSCAN聚类算法对步骤1中特征存储单元中的特征集合{v1,
…
,v
n
}进行聚类，特征存储单元中的类别原型进一步分为聚类簇质心及未聚类离群值实例其中n
c
表示聚类簇的数量，n
o
表示未聚类离群值的数量，使用自步学习策略并结合聚类独立性与聚类紧密性标准，保留可靠的聚类簇，而将不可靠的聚类簇中的特征拆解回无聚类的离群值实例中。4.根据权利要求3所述的方法，其特征在于，所述自步学习策略在每轮训练开始前重新进行聚类，从最可靠的聚类簇开始，逐步增加聚类簇的数量，通过调整DBSCAN聚类算法中样本邻域距离阈值，交替放宽与缩紧聚类标准；所述聚类独立性标准用于度量类间距离，表现为特征集合与放宽聚类标准后特征集合之间的交并比：其中|
·
|表示集合中特征的数量，I(f
i
)表示同一个簇中的样本集合，I
loose
(f
i
)表示放宽聚类标准后同一个簇中的样本集合，R
indep
(f
i
)表示簇I(f
i
)的独立性得分；所述聚类紧密性标准用于度量类内距离，表现为特征集合与缩紧聚类标准后特征集合之间的交并比：其中I
tight
(f
i
)表示缩紧聚类标准后同一个簇中的样本集合，R
comp
(f
i
)表示簇I(f
i
)的紧密性得分；通过以上聚类可靠性评价标准度量聚类中数据之间的独立性和紧密性，设置α,β∈[0,
1]表示独立性和紧密性阈值...

【专利技术属性】
技术研发人员：张远辉，冯化涛，刘康，朱俊江，付铎，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：