视频图像中的行人重识别方法、装置、存储介质及处理器制造方法及图纸

本发明专利技术公开了一种视频图像中的行人重识别方法、装置、存储介质及处理器。其中，该方法包括：训练第一卷积神经网络模型，得到第二卷积神经网络模型；对第二卷积神经网络模型添加哈希二值化层，得到第三卷积神经网络模型；训练第三卷积神经网络模型，得到第四卷积神经网络模型；输入一张目标行人图像和多张待识别行人图像至第四卷积神经网络模型，得到多张初步识别行人图像；将多张初步识别行人图像输入至第四卷积神经网络模型，得到多个初步识别局部特征向量；计算目标局部特征向量和多个初步识别局部特征向量之间的第二空间向量距离，得到行人重识别结果。本发明专利技术解决了现有技术中的视频图像行人重识别方式存在的识别效率低、精度差的技术问题。

Pedestrian weight recognition method, device, storage medium and processor in video image

The invention discloses a pedestrian weight recognition method, a device, a storage medium and a processor in a video image. Among them, the method includes: training the first convolutional neural network model, second convolutional neural network model; to add second convolutional neural network model hash binarization, third convolutional neural network model; training third convolutional neural network model, fourth convolutional neural network model; an input image and a plurality of the pedestrian target identification of pedestrian images to fourth convolutional neural network model, obtain a plurality of identified pedestrian images; will be more than one preliminary identification of pedestrian image input to fourth convolutional neural network model, get a number of preliminary identification of local feature vectors; second space vector distance between local characteristics and multiple target vector identification local feature vector, get the pedestrian re recognition results. The invention solves the technical problems of low recognition efficiency and poor precision in the pedestrian recognition method of video images in the existing technology.

【技术实现步骤摘要】
视频图像中的行人重识别方法、装置、存储介质及处理器
本专利技术涉及视频处理领域，具体而言，涉及一种视频图像中的行人重识别方法、装置、存储介质及处理器。
技术介绍
行人重识别，即给定目标行人的检索图像(probe)，在多个无视野重叠的摄像机视频图像中(gallery)检索与目标行人相匹配的图像，从而确定目标行人出现过的位置及监控画面。行人重识别对于人物检索、嫌疑人搜寻等多种应用起着至关重要的作用。然而，由于不同摄像头的架设角度、背景环境、光线条件、分辨率、行人姿态动作等区别变化，行人重识别问题存在诸多难点。现有的技术中，常将行人重识别作为两个问题分别进行解决，即特征表示与度量学习，前者在于学习一种具有光线、角度、环境等多种条件不变性的特征，后者旨在基于行人特征向量学习一种强区分性的距离度量函数。随着深度学习的流行，有研究通过构建卷积神经网络，同时进行特征表示与度量学习，实现端对端的行人重识别。如，专利CN106971178A提出了一种行人检测和再识别的方法及装置，利用卷积神经网络进行行人检测之后对检测到的行人图像区域提取特征张量，将目标行人特征张量与待识别行人特征张量进行直接对比，得到匹配结果。专利CN106778464A提出了一种基于深度学习的行人重识别方法和装置，基于深度学习网络模型提取目标行人图像与参考行人图像的特征，计算特征相似度并进行排序，将相似度最高的参考行人图像判断为目标行人。考虑到人类视觉系统在进行辨别时，首先通过全局特征进行区分，如行人的服装总体颜色、外形轮廓特征等，然后进一步对全局相似的图像进行局部化细节特征的区分，属于从粗糙到精细的多个阶段化过程。然而，现有行人重识别技术中的匹配过程仅为单个阶段。在现实应用中，需要检索的行人监控图像视频数量常常十分庞大，现有技术通过将目标行人图像与待检索的行人图像进行逐一比对，一次性得到识别匹配结果，不仅所需的计算量与计算时间随着检索图像的增加而骤增，同时识别精度也会随着干扰图像增多而大大降低，难以在效率与精度之间获得平衡。综上，现有技术中的视频图像中的行人重识别方式存在识别效率低、精度差的技术问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种视频图像中的行人重识别方法、装置、存储介质及处理器，以至少解决现有技术中的视频图像行人重识别方式存在的识别效率低、精度差的技术问题。根据本专利技术实施例的一个方面，提供了一种视频图像中的行人重识别方法，该方法包括：根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型，其中，上述第二卷积神经网络模型为达到收敛状态的上述第一卷积神经网络模型，上述第二卷积神经网络模型包括全局特征提取分支和局部特征提取分支；对上述第二卷积神经网络模型中的上述全局特征提取分支添加哈希二值化层，得到第三卷积神经网络模型；根据上述预设行人重识别数据集训练上述第三卷积神经网络模型，得到第四卷积神经网络模型，其中，上述第四卷积神经网络模型为达到收敛状态的上述第三卷积神经网络模型；输入一张目标行人图像和多张待识别行人图像至上述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量；计算上述一个目标全局二值化特征向量和上述多个待识别全局二值化特征向量之间的第一空间向量距离，得到多张初步识别行人图像，其中，上述多张初步识别行人图像中的每张上述初步识别行人图像与上述目标行人图像对应的上述第一空间向量距离均小于预设第一空间向量距离阈值；将上述多张初步识别行人图像输入至上述第四卷积神经网络模型，得到多个初步识别局部特征向量；计算上述目标局部特征向量和上述多个初步识别局部特征向量之间的第二空间向量距离，得到与上述目标行人图像所匹配的行人重识别结果。进一步地，在根据预设行人重识别数据集训练第一卷积神经网络模型之前，上述方法还包括：获取多个摄像头拍摄到的行人视频图像；截取上述行人视频图像中的每帧图片中的行人区域，并对上述行人区域添加身份标签；根据上述行人区域和上述身份标签得到上述预设行人重识别数据集。进一步地，上述输入一张目标行人图像和多张待识别行人图像至上述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量包括：输入上述一张目标行人图像至上述第四卷积神经网络模型，基于上述第四卷积神经网络模型中的上述全局特征提取分支得到上述一个目标全局二值化特征向量，以及基于上述第四卷积神经网络模型中的上述局部特征提取分支得到上述一个目标局部特征向量；输入上述多张待识别行人图像至上述第四卷积神经网络模型，基于上述第四卷积神经网络模型中的上述全局特征提取分支得到上述多个待识别全局二值化特征向量。进一步地，上述根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型包括：根据预设行人重识别数据集和随机梯度下降法对上述第一卷积神经网络模型中的参数进行更新，并根据同一预设目标函数分别对上述第一卷积神经网络模型中的上述全局特征提取分支和上述局部特征提取分支进行梯度计算，得到上述第二卷积神经网络模型。根据本专利技术实施例的另一方面，还提供了一种视频图像中的行人重识别装置，该装置包括：第一训练单元，用于根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型，其中，上述第二卷积神经网络模型为达到收敛状态的上述第一卷积神经网络模型，上述第二卷积神经网络模型包括全局特征提取分支和局部特征提取分支；第一添加单元，用于对上述第二卷积神经网络模型中的上述全局特征提取分支添加哈希二值化层，得到第三卷积神经网络模型；第二训练单元，用于根据上述预设行人重识别数据集训练上述第三卷积神经网络模型，得到第四卷积神经网络模型，其中，上述第四卷积神经网络模型为达到收敛状态的上述第三卷积神经网络模型；第一输入单元，用于输入一张目标行人图像和多张待识别行人图像至上述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量；第一计算单元，用于计算上述一个目标全局二值化特征向量和上述多个待识别全局二值化特征向量之间的第一空间向量距离，得到多张初步识别行人图像，其中，上述多张初步识别行人图像中的每张上述初步识别行人图像与上述目标行人图像对应的上述第一空间向量距离均小于预设第一空间向量距离阈值；第二输入单元，用于将上述多张初步识别行人图像输入至上述第四卷积神经网络模型，得到多个初步识别局部特征向量；第二计算单元，用于计算上述目标局部特征向量和上述多个初步识别局部特征向量之间的第二空间向量距离，得到与上述目标行人图像所匹配的行人重识别结果。进一步地，上述装置还包括：第一获取单元，用于获取多个摄像头拍摄到的行人视频图像；第二添加单元，用于截取上述行人视频图像中的每帧图片中的行人区域，并对上述行人区域添加身份标签；第二获取单元，用于根据上述行人区域和上述身份标签得到上述预设行人重识别数据集。进一步地，上述第一输入单元包括：第一输入子单元，用于输入上述一张目标行人图像至上述第四卷积神经网络模型，基于上述第四卷积神经网络模型中的上述全局特征提取分支得到上述一个目标全局二值化特征向量，以及基于上述本文档来自技高网...

【技术保护点】
一种视频图像中的行人重识别方法，其特征在于，包括：根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型，其中，所述第二卷积神经网络模型为达到收敛状态的所述第一卷积神经网络模型，所述第二卷积神经网络模型包括全局特征提取分支和局部特征提取分支；对所述第二卷积神经网络模型中的所述全局特征提取分支添加哈希二值化层，得到第三卷积神经网络模型；根据所述预设行人重识别数据集训练所述第三卷积神经网络模型，得到第四卷积神经网络模型，其中，所述第四卷积神经网络模型为达到收敛状态的所述第三卷积神经网络模型；输入一张目标行人图像和多张待识别行人图像至所述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量；计算所述一个目标全局二值化特征向量和所述多个待识别全局二值化特征向量之间的第一空间向量距离，得到多张初步识别行人图像，其中，所述多张初步识别行人图像中的每张所述初步识别行人图像与所述目标行人图像对应的所述第一空间向量距离均小于预设第一空间向量距离阈值；将所述多张初步识别行人图像输入至所述第四卷积神经网络模型，得到多个初步识别局部特征向量；计算所述目标局部特征向量和所述多个初步识别局部特征向量之间的第二空间向量距离，得到与所述目标行人图像所匹配的行人重识别结果。...

【技术特征摘要】
1.一种视频图像中的行人重识别方法，其特征在于，包括：根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型，其中，所述第二卷积神经网络模型为达到收敛状态的所述第一卷积神经网络模型，所述第二卷积神经网络模型包括全局特征提取分支和局部特征提取分支；对所述第二卷积神经网络模型中的所述全局特征提取分支添加哈希二值化层，得到第三卷积神经网络模型；根据所述预设行人重识别数据集训练所述第三卷积神经网络模型，得到第四卷积神经网络模型，其中，所述第四卷积神经网络模型为达到收敛状态的所述第三卷积神经网络模型；输入一张目标行人图像和多张待识别行人图像至所述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量；计算所述一个目标全局二值化特征向量和所述多个待识别全局二值化特征向量之间的第一空间向量距离，得到多张初步识别行人图像，其中，所述多张初步识别行人图像中的每张所述初步识别行人图像与所述目标行人图像对应的所述第一空间向量距离均小于预设第一空间向量距离阈值；将所述多张初步识别行人图像输入至所述第四卷积神经网络模型，得到多个初步识别局部特征向量；计算所述目标局部特征向量和所述多个初步识别局部特征向量之间的第二空间向量距离，得到与所述目标行人图像所匹配的行人重识别结果。2.根据权利要求1所述的方法，其特征在于，在根据预设行人重识别数据集训练第一卷积神经网络模型之前，所述方法还包括：获取多个摄像头拍摄到的行人视频图像；截取所述行人视频图像中的每帧图片中的行人区域，并对所述行人区域添加身份标签；根据所述行人区域和所述身份标签得到所述预设行人重识别数据集。3.根据权利要求1所述的方法，其特征在于，所述输入一张目标行人图像和多张待识别行人图像至所述第四卷积神经网络模型，得到一个目标全局二值化特征向量、一个目标局部特征向量和多个待识别全局二值化特征向量包括：输入所述一张目标行人图像至所述第四卷积神经网络模型，基于所述第四卷积神经网络模型中的所述全局特征提取分支得到所述一个目标全局二值化特征向量，以及基于所述第四卷积神经网络模型中的所述局部特征提取分支得到所述一个目标局部特征向量；输入所述多张待识别行人图像至所述第四卷积神经网络模型，基于所述第四卷积神经网络模型中的所述全局特征提取分支得到所述多个待识别全局二值化特征向量。4.根据权利要求1所述的方法，其特征在于，所述根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型包括：根据预设行人重识别数据集和随机梯度下降法对所述第一卷积神经网络模型中的参数进行更新，并根据同一预设目标函数分别对所述第一卷积神经网络模型中的所述全局特征提取分支和所述局部特征提取分支进行梯度计算，得到所述第二卷积神经网络模型。5.一种视频图像中的行人重识别装置，其特征在于，包括：第一训练单元，用于根据预设行人重识别数据集训练第一卷积神经网络模型，得到第二卷积神经网络模型，...

【专利技术属性】
技术研发人员：王志鹏，周文明，
申请(专利权)人：珠海习悦信息技术有限公司，
类型：发明
国别省市：广东,44