一种基于轮廓图像嵌入的行人重识别方法技术

一种基于轮廓图像嵌入的行人重识别方法属计算机视觉技术领域，本发明专利技术的方法包括下列步骤：1.基于RCF算法的行人轮廓图提取；2.在ResNet

【技术实现步骤摘要】
一种基于轮廓图像嵌入的行人重识别方法


[0001]本专利技术属于计算机视觉中的行人重识别
，具体涉及一种基于轮廓图像嵌入的行人重识别方法。

技术介绍

[0002]行人重识别(Person Re
‑
identification，简称为Re
‑
ID技术)，被广泛认为是图像检索的子问题。自1997年起，多摄像头跟踪已经在一些大型城市中得到应用，但并没有形成比较完整的学术体系。直到2005年，行人重识别这一术语在多摄像头跟踪任务中出现，次年，行人重识别便作为一个独立的视觉任务开始被广泛研究。行人重识别又称为跨摄像头行人追踪，是在给定的视频序列或者行人图像集中找到特定行人的计算机视觉技术。通常应用行人重识别的场景都是无法进行人脸识别的情况，只能通过行人的整体外观进行识别，是当前城市监控系统中重要的应用技术手段。
[0003]行人重识别在提出伊始，是基于手工特征进行研究，主要采用颜色直方图、边缘直方图、纹理直方图等方法对原始图像进行特征空间转换，对得到的特征进行距离度量计算。这一时期，设计良好的距离度量函数是提高识别效果的重要手段。然而，基于手工特征的算法大都依赖于人的先觉经验，无法处理复杂多变的环境影响。之后，随着深度学习的发展，特别是卷积神经网络在计算机视觉中的重大突破，研究人员将CNN应用到行人重识别中，通过网络提取行人特征，经过训练得到性能更加优越的行人重识别模型。
[0004]行人重识别发展至今，基于深度学习的研究已经是主流方法，它的高性能已经得到广泛的认可。在此基础上，越来越多的研究应运而生，例如，针对复杂环境中的遮挡问题，像素低问题，姿态不对齐等问题有着专门的研究以及网络模型。此外针对跨模态，跨衣着等问题也有着不少的研究。越来越多的研究重点从实验室中相对比较封闭的环境转移到更加贴近现实的应用场景，随着社会的不断发展与进步，行人重识别研究也将要随之更新与变化。
[0005]轮廓信息在图像识别领域也起着重要的作用，近两年有研究人员将行人轮廓图也作为一种特征表示应用到所提出的网络模型中。很多针对于CNN网络的研究致力于理解其视觉特征的表达，在Imagenet上的实验表明，深度学习模型偏向于基于纹理的特征，而不是基于形状的特征。目前，轮廓图在行人重识别研究中的作用大多为一些辅助的正则化作用。应用范围偏向于跨衣着的行人重识别，其期望可以抛弃衣着特征的使用，从相对不变的行人轮廓上找到足够鲁邦的特征表达。直接使用轮廓图特征并对其进行研究的相对较少。

技术实现思路

[0006]鉴于CNN网络在提取行人特征时对轮廓信息的表达有所欠缺等问题，本专利技术提供一种基于轮廓图像嵌入的行人重识别方法。本专利技术的方法主要适用于基于ResNet
‑
50网络的行人重识别研究。本专利技术设计了一种轮廓图嵌入方法，并提出了一种轮廓信息提取模块。轮廓分支网络处理行人轮廓图，ResNet
‑
50处理RGB行人原图，在ResNet
‑
50的第一个卷积层
以及前两个残差块的输出位置嵌入行人轮廓图以及经过轮廓信息提取模块处理后的特征图，ResNet
‑
50后续的残差块正常使用。网络最后得到的特征图经过池化层，BN层，线性层后计算难样本挖掘的三元组损失和分类损失。通过网络的梯度回传，更新网络参数，得到最终的行人重识别网络模型。
[0007]本专利技术的基于轮廓图像嵌入的行人重识别方法，包括下列步骤：
[0008]1)基于RCF模型的行人轮廓图Input_con提取：
[0009]RCF模型是基于VGG
‑
16的一个简单网络，其将VGG
‑
16中原有的全连接层，池化层去除，并将其分为五个stage，每个stage的输出端连接一个池化层，将五个stage的输出合并，作为最终的模型输出，RCF模型可以提供良好的行人轮廓图像，本专利技术使用RCF包括下列步骤：
[0010]1.1RCF模型使用的是BSDS500数据集训练后的模型参数；
[0011]1.2对行人重识别数据集Market1501，进行上采样至原来图像大小的三倍；
[0012]1.3使用训练好的RCF模型，对行人重识别中的图像进行处理得到相应的轮廓图；
[0013]1.4对得到的轮廓图进行下采样至原图像大小的三分之一；
[0014]1.5将得到的轮廓图按照Market1501原有的标签进行分类，制作轮廓图数据集；
[0015]2)在ResNet
‑
50网络第一层进行轮廓特征图嵌入，包括以下步骤：
[0016]2.1将步骤1)得到的轮廓图Input_con以及数据集Market1501中的RGB原图Input_rgb作为起始输入，两者的大小均为R3×
256
×
128
；
[0017]2.2Input_con输入到卷积层中进行降维，该卷积层输入维度为3，输出维度为1，卷积核大小为7
×
7，步长为2，得到特征图F
con1
∈R1×
128
×
64
；
[0018]2.3Input_rgb输入到ResNet
‑
50第一个卷积层，不对其做改动，得到特征图F
rgb1
∈R
64
×
128
×
64
；
[0019]2.4将F
con1
和F
rgb1
元素级相加后经过BN层、ReLU层和最大池化层，得到输出Feature_1∈R
64
×
64
×
32
；
[0020]3)提出轮廓信息提取模块1，在ResNet
‑
50网络第一残差块后嵌入轮廓信息，包括以下步骤：
[0021]3.1将步骤2)中得到的特征图F
con1
再经过一个卷积层进行降维，该卷积层的输入维度为1，输出维度为1，卷积核大小为1
×
1，步长为2，得到特征图F
con2
∈R1×
64
×
32
；
[0022]3.2将步骤2)的输出Feature_1经过ResNet
‑
50的第一个残差块，不对其做改动，得到特征图F
rgb2
∈R
256
×
64
×
32
；
[0023]3.3将F
con2
和F
rgb2
输入到轮廓信息提取模块1中，该模块中，引入两个卷积层，卷积层1输入维度为1，输出维度为1，卷积核大小为64
×
1，步长为1，F
con2
经过此卷积层，得到向量F
con21
∈R1×1×
32
；卷积层2输入维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轮廓图像嵌入的行人重识别方法，其特征在于，包括下列步骤：1)基于RCF模型的行人轮廓图nput_con提取,包括下列步骤：1.1利用已有的RCF模型，对行人重识别中常用的数据集Market1501进行行人轮廓图提取；1.2对得到的行人轮廓图进行整理，制作轮廓图数据集，其中包括训练集，测试集；测试集中又分为query集和gallery集；2)在ResNet
‑
50网络第一层进行轮廓特征图嵌入，包括下列步骤：2.1将步骤1)得到的轮廓图Input_con以及数据集Market1501中的RGB原图Input_rgb作为起始输入，两者的大小均为R3×
256
×
128
；2.2Input_con输入到卷积层中进行降维，该卷积层输入维度为3，输出维度为1，卷积核大小为7
×
7，步长为2，得到特征图F
con1
∈R1×
128
×
64
；2.3Input_rgb输入到ResNet
‑
50第一个卷积层，不对其做改动，得到特征图F
rgb1
∈R
64
×
128
×
64
；2.4将F
con1
和F
rgb1
元素级相加后经过BN层、ReLU层和最大池化层，得到输出Feature_1∈R
64
×
64
×
32
；3)提出轮廓信息提取模块1，在ResNet
‑
50网络第一残差块后嵌入轮廓信息，包括下列步骤：3.1将步骤2)中得到的特征图F
con1
再经过一个卷积层进行降维，该卷积层的输入维度为1，输出维度为1，卷积核大小为1
×
1，步长为2，得到特征图F
con2
∈R1×
64
×
32
；3.2将步骤2)的输出Feature_1经过ResNet
‑
50的第一个残差块，不对其做改动，得到特征图F
rgb2
∈R
256
×
64
×
32
；3.3将F
con2
和F
rgb2
输入到轮廓信息提取模块1中，该模块中，引入两个卷积层，卷积层1输入维度为1，输出维度为1，卷积核大小为64
×
1，步长为1，F
con2
经过此卷积层，得到向量F
con21
∈R1×1×
32
；卷积层2输入维度为1，输出维度为1，卷积核大小为1
×
32，步长为1，F
con2
经过此卷积层，得到向量F
con22
∈R1×
64
×1；F
con22
与F
con21
相乘后经过Sigmoid函数得到权值矩阵W1∈R1×
64
×
32
，则轮廓信息提取模块1的输出Feature_2由公示表示为：4)提出轮廓信息提取模块2，在ResNet
‑
50网络第二残差块后嵌入轮廓信息，包括下列...

【专利技术属性】
技术研发人员：赵岩，陈浩，王世刚，韦健，王学军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：