基于虚拟样本的行人重识别方法技术

本发明专利技术提供了一种基于虚拟样本的行人重识别方法，包括以下步骤：获取游戏引擎生成的虚拟人物进行预处理后通过多因素变分生成网络融合目标数据集的背景和真实人物姿态生成得到一批带有人物标签的虚拟样本；根据光照情况对生成的虚拟样本进行渲染；根据人物属性对渲染后的虚拟样本进行抽样；根据抽样得到的虚拟样本构造训练数据集对行人重识别模型进行训练，并对训练得到的模型进行识别效果验证。本发明专利技术通过集翻译‑渲染‑抽样于一体的虚拟图像生成框架尽可能拉近虚拟图像与真实图像之间的分布以生成一批虚拟样本，并进行行人重识别模型训练，可以切实有效地应用于真实场景下的行人数据集，实现在隐私保护下学习到有效的行人重识别模型。

【技术实现步骤摘要】
基于虚拟样本的行人重识别方法
本专利技术属于行人重识别
，具体涉及一种基于虚拟样本的行人重识别方法。
技术介绍
行人重识别旨在匹配每个人来自部署在不同位置的多个不重叠摄像机下拍摄的图像。最近几年，行人重识别技术迅猛发展，存在着丰富的应用场景，如找感兴趣的人(例如迷路的孩子或犯罪分子)和对特定人员进行追踪等，这使得行人重识别技术得到了深入的研究。受益于深度卷积神经网络，提出的许多行人重识别方法取得了非常高的表现性能。然而，这些行人重识别方法依赖大量行人监控视频中的图像进行训练，这将暴露个人隐私信息并可能进一步招致安全问题。由于隐私问题得到越来越广泛地关注，部分真实行人数据集被要求撤销，甚至要求不能以任何形式的出版物显示有关数据集的图像。在行人重识别领域，无监督域自适应方法在不依赖目标域行人标签的情况下，仍然可以借助源域数据集学习到目标域数据集的相关特征，一定程度上避免了目标域行人具体类别信息的直接暴露。最新的无监督域自适应方法通常分为两类：基于聚类的方法和基于生成的方法。特别需要注意的是，前一类方法需要依靠目标图像进行无监督聚类，而后一类方法也需要通过目标图像进行图像翻译或对抗训练，这很大程度上依赖于面向公众开放的行人数据集，间接地导致目标图像中行人的隐私信息完全暴露在几乎没有任何权限限制即可随时获取的公共平台上，这是一个迫切需要引起人们重视的问题，并亟需提出有效的解决方案来应对这一现象给行人重识别领域带来的挑战。
技术实现思路
本专利技术的目的在于针对现有技术的不足之处，提供一种基于虚拟样本的行人重识别方法，通过虚拟样本实现隐私保护下的行人重识别，解决了现有技术中在隐私保护下的行人重识别任务面临的目标图像的行人外观缺失以及虚拟图像与真实图像之间存在巨大域鸿沟的挑战的难题。为解决上述技术问题，本专利技术采用如下技术方案：一种基于虚拟样本的行人重识别方法，包括以下步骤：步骤S1、获取游戏引擎生成的虚拟人物进行预处理，并通过多因素变分生成网络融合目标数据集的背景和真实人物姿态生成得到一批带有人物标签的虚拟样本；步骤S2、根据目标数据集的光照情况对生成的虚拟样本进行渲染；步骤S3、根据目标数据集的人物属性对渲染后的虚拟样本进行抽样；步骤S4、根据抽样得到的虚拟样本构造训练数据集对行人重识别模型进行训练，并对训练得到的模型进行识别效果验证。进一步地，所述步骤S1包括：步骤S11、从游戏引擎生成的虚拟数据集中提取k个人物和从真实行人数据集中提取l个背景，分别为{c1，...，ck}和{b1，...，bl}，将两者直接合成得到关于虚拟人物和真实背景融合的n个虚拟图像作为训练样本{x1，...，xn}；步骤S12、分别提取每个训练样本的人物姿态，将其与训练样本和对应的背景作为所构建的基于变分自编码器的深度神经网络即多因素变分生成网络的输入，构造目标函数训练让网络学习得到合成图像关于人物、背景和姿态的变换规律；步骤S13、根据目标数据集的人物分辨率对虚拟人物的分辨率进行调整；步骤S14、将调整后的虚拟人物、真实背景和从目标数据集中提取到的姿态作为网络的输入，通过网络生成得到一批带有人物标签的虚拟样本。进一步地，在所述步骤S12中，所述目标函数为其中，x代表输入的训练样本，z(x，b)代表联合隐变量，Dθ代表作为生成器的解码器网络，Φi代表不同网络层次提取的特征参数，qφ代表后验分布参数，pθ代表先验分布参数，KL代表Kullback-Leibler散度，i和λi是预先设置的超参数，用于控制不同网络层次的对于总损失的贡献。进一步地，在所述步骤S13中，分别计算虚拟数据集和真实行人数据集的人物在图像中的像素占比，通过缩放虚拟数据集的人物来调整虚拟人物的分辨率并使其具有与目标数据集相似的分辨率。进一步地，在所述步骤S2中，将每个图像转换为HSV格式，提取V通道并计算V通道的平均值作为图像的亮度值，所述图像的亮度值范围为0～255，从而获取目标数据集的光照情况。进一步地，在所述步骤S3中，选定上半身衣服的颜色和下半身衣服的颜色的两个属性作为抽样的基础属性以进行数据集的属性分布统计。进一步地，在所述步骤S4中，识别验证过程包括：将训练得到的模型用来匹配检索图片在图库中判定为同一身份标识的图片，并按照可能性依次输出对应的图片索引，与真实标签做对比。与现有技术相比，本专利技术的有益效果为：基于真实场景下行人在不同摄像头下的多种背景和多种姿态变换下导致已有行人重识别模型鲁棒性差的问题、行人与摄像头之间的距离关系导致分辨率不一致的问题、不同光照情况下导致的图像亮度差异问题以及可能由于季节性变换导致的着装不同带来的属性分布不一致问题，本专利技术通过集翻译-渲染-抽样于一体的虚拟图像生成框架尽可能拉近虚拟图像与真实图像之间的分布并生成一批新的虚拟样本，进一步将这批虚拟样本用于训练得到的行人重识别模型，可以切实有效地应用于真实场景下的行人数据集，从而实现在不获取目标域真实行人数据集人物外观的条件下学习到有效的行人重识别模型，完成隐私保护下的行人重识别任务。具体包括如下几方面：(1)为了实现对行人的隐私保护，对于目标场景，仅需数据提供方提供与行人隐私无关的信息，而不需要任何真实行人的外观以及身份判别信息，通过采用游戏引擎生成的虚拟人物来替代真实行人进行行人重识别模型的训练即可。(2)充分利用目标场景的真实世界信息，本专利技术定义了三种与隐私无关的信息，具体包括内容信息即背景和姿态等、成像信息即分辨率和光照情况等以及描述信息即衣服颜色等人的属性。(3)为了克服虚拟样本与真实图像之间存在的巨大域鸿，本专利技术采用集图像翻译-渲染-抽样于一体的虚拟图像生成框架对游戏引擎中生成的虚拟数据进行处理从而得到虚拟样本，有效实现虚拟样本到真实图像的域分布逼近。(4)本专利技术具有适应度高、图像翻译灵活性强的特点，提出了一种基于变分自编码器的深度神经网络——多因素变分生成网络，该网络实现了对多种与隐私无关的因素进行编码融合，可以有效生成融合了虚拟人物与真实世界信息的虚拟样本。附图说明图1为本专利技术的实施例中基于虚拟样本的行人重识别方法的流程图。图2为本专利技术的实施例中多因素变分生成网络的深度神经网络结构示意图。具体实施方式下面结合附图所示的实施例对本专利技术作进一步说明。本实施例公开了一种基于虚拟样本的行人重识别方法，目的是提供一个隐私保护下的行人重识别方案。由于无法获取真实行人的外观，本方案将游戏引擎生成的虚拟图像用作提取人物特征的源数据集。然而，如果简单地采用虚拟源数据集Xs进行行人重识别模型的训练，并将其直接应用于真实行人目标数据集Xt，但由于虚拟源数据集与真实行人数据集存在着巨大的域鸿沟，该方法无法学习到目标数据集中真实行人的有效判别特征表示，这将导致模型效果远远达不到实际需求。进一步，为了更好地将从虚拟样本中学习到的模型适配到真实的目标域，本方案引入了三本文档来自技高网...

【技术保护点】
1.一种基于虚拟样本的行人重识别方法，其特征在于，包括以下步骤：/n步骤S1、获取游戏引擎生成的虚拟人物进行预处理，并通过多因素变分生成网络融合目标数据集的背景和真实人物姿态生成得到一批带有人物标签的虚拟样本；/n步骤S2、根据目标数据集的光照情况对生成的虚拟样本进行渲染；/n步骤S3、根据目标数据集的人物属性对渲染后的虚拟样本进行抽样；/n步骤S4、根据抽样得到的虚拟样本构造训练数据集对行人重识别模型进行训练，并对训练得到的模型进行识别效果验证。/n

【技术特征摘要】
1.一种基于虚拟样本的行人重识别方法，其特征在于，包括以下步骤：
步骤S1、获取游戏引擎生成的虚拟人物进行预处理，并通过多因素变分生成网络融合目标数据集的背景和真实人物姿态生成得到一批带有人物标签的虚拟样本；
步骤S2、根据目标数据集的光照情况对生成的虚拟样本进行渲染；
步骤S3、根据目标数据集的人物属性对渲染后的虚拟样本进行抽样；
步骤S4、根据抽样得到的虚拟样本构造训练数据集对行人重识别模型进行训练，并对训练得到的模型进行识别效果验证。


2.根据权利要求1所述的基于虚拟样本的行人重识别方法，其特征在于：
所述步骤S1包括：
步骤S11、从游戏引擎生成的虚拟数据集中提取k个人物和从真实行人数据集中提取l个背景，分别为{c1，...，ck}和{b1，...，bl}，将两者直接合成得到关于虚拟人物和真实背景融合的n个虚拟图像作为训练样本{x1，...，xn}；
步骤S12、分别提取每个训练样本的人物姿态，将其与训练样本和对应的背景作为所构建的基于变分自编码器的深度神经网络即多因素变分生成网络的输入，构造目标函数训练让网络学习得到合成图像关于人物、背景和姿态的变换规律；
步骤S13、根据目标数据集的人物分辨率对虚拟人物的分辨率进行调整；
步骤S14、将调整后的虚拟人物、真实背景和从目标数据集中提取到的姿态作为网络的输入，通过网络生成得到一批带有人物标签的虚拟样本。


3.根据权利要求2所述的基于虚拟样本的行人重识别方法，其特征...

【专利技术属性】
技术研发人员：杜博，郭小洋，林雨恬，张超，王正，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42