基于大模型预训练的人脸制造技术

本发明专利技术提出了基于大模型预训练的人脸

【技术实现步骤摘要】
基于大模型预训练的人脸、人体协同聚类方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于大模型预训练的人脸
、
人体协同聚类方法
。

技术介绍

[0002]在城市安全日益完善的今天，监控视频已被广泛应用于人类社会生活的方方面面
。
识别和定位特定行人对于一些安全问题具有重要意义，尤其对于刑事侦查和搜寻救援等任务而言
。
现今检索特定行人应用最广泛也是最成熟的技术是人脸识别，但由于相机的限制，如分辨率和拍摄角度等因素，我们通常难以获得高质量的人脸图像，人脸识别难以进行，与此相比行人重识别作为一种关注人体整体特征的技术理论上更具有适用性，但目前行人重识别技术的应用还处于比较有限的阶段，精度也无法达到人脸识别的水平
。
通过比较两者的优劣势即可发现，同时把人脸识别和行人重识别利用起来，使两者的信息实现互补，实现人脸
、
人体协同聚类，能有效解决大部分场景下的行人检索问题
。
[0003]对于人脸识别
、
行人重识别技术尤其是行人重识别，现有的绝大部分方法都会使用预训练模型，以加快训练过程
、
提升训练效果，由于昂贵的人工标注成本，一直以来都缺乏大规模的行人数据集，大多数方法只是使用人工标注的
ImageNet
数据集上预训练的模型，导致仅有有限的改进，因为
ImageNet
中的通用图像与人体识别任务所需的以人为中心的图像之间存在巨大的领域差异
。
针对这一问题，目前出现了部分基于无监督预训练的研究方法，但其仍受限于数据集规模的限制，且实现效果并不显著
。

技术实现思路

[0004]本专利技术的目的是提出基于大模型预训练的人脸
、
人体协同聚类方法，通过基于深度学习网络框架设计相关预训练模型和检索策略，结合人脸识别和行人重识别两项技术的优点，从而提高行人检索在复杂场景下的精度
。
[0005]为了达到上述目的，在本专利技术提供一种基于大模型预训练的人脸
、
人体协同聚类方法，方法包括：
[0006]步骤
1、
采集各种场景下的行人原始视频数据构建数据集，对数据集进行预处理；
[0007]步骤
2、
设计预训练模型对预处理后的数据集进行预训练；
[0008]步骤
3、
使用两个
ResNet50
骨干网络分别对人脸和行人图片的特征进行提取，并将最后输出得两个特征向量进行融合计算损失函数，人脸特征
、
行人特征
、
融合特征三者共同用于多种损失函数的联合优化计算；
[0009]步骤
4、
对模型进行半监督训练，进一步获取并更新模型参数；
[0010]步骤
5、
将人脸和人体图片输入模型，并调用所述步骤4所获取的模型的参数，与网络模型的进行比较得出行人检索结果
。
[0011]进一步地，所述采集各种场景下的行人原始视频数据构建数据集，包括：
[0012]利用原始视频中的空间和时间相关性作为弱监督，并且通过任何多目标跟踪算法
从时间上跟踪一个人的轨迹来实现，从轨迹中生成一个唯一的伪
Re
‑
ID
标签，创建一个新的带有噪声标签的超大规模数据集；
[0013]所述对数据集进行预处理，包括：
[0014]步骤
1.1、
首先删除出现帧数小于
200
次的人员图像；
[0015]步骤
2.2、
在每个身份的轨迹中，执行1个样本
/20
帧的采样，用于减少重复图像的数量
。
[0016]进一步地，所述设计预训练模型对预处理后的数据集进行预训练，包括：
[0017]步骤
2.1、
初始化参数：将预训练阶段构建的数据集中所有数据样本表示为其中
n
是数据集的大小，
x
i
是一个人物图像，
y
i
∈{1,...,K}
是其相关联的身份标签，其中
K
表示数据集记录的所有身份的数量；
[0018]设一个输入的人物图像
x
i
，执行两个随机选择的增强
(T、T')
，产生两个增强图像将其中一个馈入编码器
E
q
，得到一个查询特征
q
i
，另一个被馈入另一个编码器
E
k
，得到一个关键特征
k
i
，设
E
k
为
E
q
的动量版本，
E
k
中的权重是
E
q
中权重的指数移动平均值，
E
k
的权重通过从
E
q
进行动量更新来刷新；
[0019]步骤
2.2、
监督分类：设为图像
x
i
的纠正标签，添加一个分类器，将来自编码器
E
q
的特征转换为具有
K
个类别的概率
p
i
，即
p
i
∈R
K
，并施加一个分类的交叉熵损失
[0020][0021]步骤
2.3、
通过原型进行标签修正：将原型
{c1，
c2，
…
，
c
k
}
作为一个特征向量字典进行维护，
c
k
∈R
d
，
R
d
是表示类别特征质心的原型，在每个训练步骤中，首先通过计算查询特征
qi
与当前每个原型
c
k
之间的相似度得出相似度得分
[0022][0023]其中，
τ
是表示温度的超参数，
K
表示原型的总数量，
k
表示公式中的第
k
个原型，设
p
i
为在前一步更新权重的分类器给出的分类概率，
[0024]然后，该步骤的纠正标签是通过将原型分数和分类概率
p
i
组合而生成的，
[0025][0026][0027]在这里，计算出一个软伪标签
l
i
，并根据阈值
T
将其转换为纠正标签其中，
argmax
的结果是使得函数取得最大值的
j
点集，
j
表示从0开始遍历至
M
的次数，若
li
中的最高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于大模型预训练的人脸
、
人体协同聚类方法，其特征在于，包括：步骤
1、
采集各种场景下的行人原始视频数据构建数据集，对数据集进行预处理；步骤
2、
设计预训练模型对预处理后的数据集进行预训练；步骤
3、
使用两个
ResNet50
骨干网络分别对人脸和行人图片的特征进行提取，并将最后输出得两个特征向量进行融合计算损失函数，人脸特征
、
行人特征
、
融合特征三者共同用于多种损失函数的联合优化计算；步骤
4、
对模型进行半监督训练，进一步获取并更新模型参数；步骤
5、
将人脸和人体图片输入模型，并调用所述步骤4所获取的模型的参数，与网络模型的进行比较得出行人检索结果
。2.
根据权利要求1所述的基于大模型预训练的人脸
、
人体协同聚类方法，其特征在于，所述采集各种场景下的行人原始视频数据构建数据集，包括：利用原始视频中的空间和时间相关性作为弱监督信息，并且通过任何多目标跟踪算法从时间上跟踪一个人的轨迹来实现，从轨迹中生成一个唯一的伪
Re
‑
ID
标签，创建一个新的带有噪声标签的超大规模数据集；所述对数据集进行预处理，包括：步骤
1.1、
首先删除出现帧数小于
200
次的人员图像；步骤
2.2、
在每个身份的轨迹中，执行1个样本
/20
帧的采样，用于减少重复图像的数量
。3.
根据权利要求1所述的基于大模型预训练的人脸
、
人体协同聚类方法，其特征在于，所述设计预训练模型对预处理后的数据集进行预训练，包括：步骤
2.1、
初始化参数：将预训练阶段构建的数据集中所有数据样本表示为其中
n
是数据集的大小，
x
i
是一个人物图像，
y
i
∈{1,...,K}
是其相关联的身份标签，其中
K
表示数据集记录的所有身份的数量；设一个输入的人物图像
x
i
到孪生网络，执行两个随机选择的增强
(T、T')
，产生两个增强图像将其中一个馈入编码器
E
q
，得到一个查询特征
q
i
，另一个被馈入另一个编码器
E
k
，得到一个关键特征
k
i
，设
E
k
为
E
q
的动量版本，
E
k
中的权重是
E
q
中权重的指数移动平均值，
E
k
的权重通过从
E
q
进行动量更新来刷新；步骤
2.2、
监督分类：设为图像
x
i
的纠正标签，添加一个分类器，将来自编码器
E
q
的特征转换为具有
K
个类别的概率
p
i
，即
p
i
∈R
K
，并施加一个分类的交叉熵损失，并施加一个分类的交叉熵损失步骤
2.3、
通过原型进行标签修正：将原型
{c1，
c2，
…
，
c
k
}
作为一个特征向量字典进行维护，
c
k
∈R
d
，
R
d
是表示类别特征质心的原型，在每个训练步骤中，首先通过计算查询特征
qi
与当前每个原型
c
k
之间的相似度得出相似度得分之间的相似度得出相似度得分其中，
τ
是表示温度的超参数，
K
表示原型的总数量，
k
表示公式中的第
k
个原型，设
p
i
为在
前一步更新权重的分类器给出的分类概率，然后，该步骤的纠正标签是通过将原型分数和分类概率
p
i
组合而生成的，组合而生成的，在这里，计算出一个软伪标签
l
i
，并根据阈值
T
将其转换为纠正标签其中，
argmax
的结果是使得函数取得最大值的
j
点集，
j
表示从0开始遍历至
M
的次数，若
li
中的最高分数大于
T
，则选择相应的类别作为否则将保留原始的原始标签
y
i
；步骤
2.4、
基于原型的对比学习：根据新的修正标签更新监督分类的交叉熵损失同时提出基于原型的对比损失用于约束每个样本的特征与所属的原型相同，所有的原型都被维护为一个字典，随着动量机制的步进式更新，表示如下：其中，表示基于纠正标签的特征向量字典，
q
i
是来自
E
q
的查询特征，
m
表示原型的动量；步骤
2.5、
标签引导下的对比学习：使用实例级对比学习放自监督学习，其中，实例级对比损失函数如下所示：其中，
q
i
表示查询特征；
τ
是表示温度的超参数；是从动量编码器
E
k
生成的正样本关键特征，因为它与
q
i
共享相同的实例，且等于
k
i
；则是存储在队列中表示负样本的其余特征；
M
表示队列的大小，
j
表示从0开始遍历至
M
的次数；在每个训练步骤结束时，队列将通过入队新的关键特征和出队最旧的特征进行更新，用了一个标签引导的对比学习模块，利用纠正标签来...

【专利技术属性】
技术研发人员：温峻峰，李鑫，罗海涛，林群雄，孙全忠，洪小龙，
申请(专利权)人：中科天网广东科技有限公司，
类型：发明
国别省市：