一种基于行人区域特征提取和重识别融合模型网络及方法技术

本发明专利技术公开了一种基于行人区域特征提取和重识别融合模型网络及方法，它包括：区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。通过一个深度卷积神经网络即可实现对行人特征的提取和识别，并通过区域特征的提取避免了在原场景图片中对行人图片的截图、存储和预处理操作，使得整体网络处理速度更加快速，整体网络模型体积更小，能够部署到硬件条件更低的环境中。

A fusion model network and method based on feature extraction and recognition of pedestrian area

The invention discloses a fusion model network and method based on feature extraction and re recognition of pedestrian area, which includes: area extraction module: used to search the area where pedestrian appears according to the global feature map, and generate extraction area from it, so as to obtain the detection result of pedestrian target and collect and integrate the features of these extraction areas. A deep convolution neural network can be used to extract and recognize pedestrian features, and the extraction of regional features can avoid the screenshot, storage and preprocessing of pedestrian images in the original scene, which makes the overall network processing speed faster, the overall network model smaller, and can be deployed to the environment with lower hardware conditions.

【技术实现步骤摘要】
一种基于行人区域特征提取和重识别融合模型网络及方法
本专利技术涉及计算机视觉
，尤其涉及一种基于行人区域特征提取和重识别融合模型网络及方法。
技术介绍
作为图像理解和计算机视觉的基石，目标检测构成了解决更复杂或更高级视觉任务的基础，例如分割，场景理解，对象跟踪，图像捕获，事件检测和活动识别等。目标检测在人工智能和信息技术的许多领域具有广泛的应用，包括机器人视觉，消费电子，安全，自动驾驶，人机交互，基于内容的图像检索，智能视频监控和虚拟现实。行人重识别(ReID)是指从不同摄像机捕获的行人图像中识别这个行人的身份。给定包含目标行人(查询)的图像，ReID系统尝试从大量行人图像(图库)中搜索包括相同行人的图像。ReID因其广泛的应用潜力，例如视频监控和交叉相机跟踪而受到学术界和工业界的极大关注。然而，由于大量不受控制的变化源，例如姿势和视点的显着变化，照明的复杂变化以及较差的图像质量，ReID仍然是一项非常具有挑战性的任务。现有的行人重识别应用，需要首先对场景中的行人进行目标检测，通常可以使用FasterRcnn以及YOLO等检测器，获取到场景中的行人框图后，再从场景图片中截取行人图片，再输入行人重识别网络进行特征提取。而这些步骤中一共使用了2个完整的深度卷积神经网络，一共包含了2个深层的主干网络提取特征图，会消耗大量的计算资源和时间，导致整个模型网络的识别周期加长，而在真正应用过程中对行人的行为及时准确的做出识别判断是非常重要的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于行人区域特征提取和重识别融合模型网络及方法，通过一个深度卷积神经网络即可达到目的，解决了现目前通过采用两个深度卷积神经网络所存在的问题。本专利技术的目的是通过以下技术方案来实现的：一种基于行人区域特征提取和重识别融合模型网络，它包括：区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。所述模型网络还包括骨干网络模块和行人重识别模块；所述骨干网络模块对输入的原图进行预处理得到全局特征图后输入到所述区域提取模块；所述行人重识别模块根据所述区域提取模块的输出结果进行特征提取，并根据场景中行人的不同特征识别出行人目标的行为。所述区域提取模块包括行人区域特征选择单元和行人特征提取单元；所述行人特征选择单元用于根据所述骨干网络模块输出的全局特征图搜索预测有行人的区域，并对行人区域进行框图标注和筛选以及区域特征提取，得到局部区域特征图；所述行人区域特征提取单元对多个局部区域特征图进行合并以及3×3卷积操作处理，得到特征向量输入到所述行人重识别模块。所述行人区域特征选择单元包括有框图预测全连接层、置信度全连接层、目标筛选层和区域特征图提取层。所述行人特征提取单元包括变形、第一标识块、第二标识块、第三标识块、ROIPool操作和特征映射。在模型网络建立好后通过采用知识蒸馏的训练策略对模型网络进行训练。一种基于行人区域特征提取和重识别融合模型网络的融合方法，所述融合方法包括区域提取特征图进行目标检测步骤；所述区域提取特征图进行目标检测步骤包括以下内容：使用填充为1的3×3卷积层变换区域特征提取模块的输出，并将输出通道数记为c；将区域特征提取模块为图像提取的特征图中的每个单元赋予一个长度为c的新特征；以特征图每个单元为中心，生成多个不同大小和宽高比的锚框；用锚框中心单元长度为c的特征分别预测该锚框的二元类别和边界框；使用非极大值抑制从预测类别为目标的预测边界框中移除相似的结果，输出提取区域。所述融合方法还包括通过骨干网络模块对原图进行预处理的步骤，以及通过行人重识别模块对场景中行人的不同特征识别出行人目标的行为的步骤；所述通过骨干网络模块对原图进行预处理的步骤位于所述区域提取特征图进行目标检测步骤之前；所述行人重识别模块对场景中行人的不同特征识别出行人目标的行为的步骤位于所述区域提取特征图进行目标检测步骤之后。在通过行人区域特征提取和重识别融合模型网络进行所述融合方法之前，还需要对建立好的行人区域特征提取和重识别融合模型网络进行训练。采用知识蒸馏的训练策略对行人区域特征提取和重识别融合模型网络进行训练，具体的训练步骤如下：输入一个批次的场景图片进入CPU端作为网络的输入，骨干网络模块提取特征图，区域提取模块给出行人可能出现的框图位置和大小信息，并保存给出的行人框图位置和大小信息作为训练网络输出的一部分；行人重识别模块进一步提取行人特征，并且和区域提取模块输出的行人框图位置和大小信息联级作为网络输出；当数据返回CPU端后转换区域提取模块行人框图位置和大小信息到原场景图的尺度，并根据框图信息在原场景图中截取每一个行人的图片并转换行人图片到固定尺度大小；输入截取的行人图片到教师网络提取每个行人图片的特征，作为行人重识别模块的标签；把网络的输出值和目标值输入Loss函数进行反向传播，并更新网络参数权重和偏差。本专利技术的有益效果是：一种基于行人区域特征提取和重识别融合模型网络及方法，通过一个深度卷积神经网络即可实现对行人特征的提取和识别，并通过区域特征的提取避免了在原场景图片中对行人图片的截图、存储和预处理操作，使得整体网络处理速度更加快速，整体网络模型体积更小，能够部署到硬件条件更低的环境中。附图说明图1为网络的整体结构图；图2为网络的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本专利技术的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也本文档来自技高网...

【技术保护点】
1.一种基于行人区域特征提取和重识别融合模型网络，其特征在于：它包括：/n区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。/n

【技术特征摘要】
1.一种基于行人区域特征提取和重识别融合模型网络，其特征在于：它包括：
区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。


2.根据权利要求1所述的一种基于行人区域特征提取和重识别融合模型网络，其特征在于：所述模型网络还包括骨干网络模块和行人重识别模块；所述骨干网络模块对输入的原图进行预处理得到全局特征图后输入到所述区域提取模块；所述行人重识别模块根据所述区域提取模块的输出结果进行特征提取，并根据场景中行人的不同特征识别出行人目标的行为。


3.根据权利要求2所述的一种基于行人区域特征提取和重识别融合模型网络，其特征在于：所述区域提取模块包括行人区域特征选择单元和行人特征提取单元；
所述行人特征选择单元用于根据所述骨干网络模块输出的全局特征图搜索预测有行人的区域，并对行人区域进行框图标注和筛选以及区域特征提取，得到局部区域特征图；
所述行人区域特征提取单元对多个局部区域特征图进行合并以及3×3卷积操作处理，得到特征向量输入到所述行人重识别模块。


4.根据权利要求3所述的一种基于行人区域特征提取和重识别融合模型网络，其特征在于：所述行人区域特征选择单元包括有框图预测全连接层、置信度全连接层、目标筛选层和区域特征图提取层。


5.根据权利要求4所述的一种基于行人区域特征提取和重识别融合模型网络，其特征在于：所述行人特征提取单元包括变形、第一标识块、第二标识块、第三标识块、ROIPool操作和特征映射。


6.根据权利要求1-5中任意一项所述的一种基于行人区域特征提取和重识别融合模型网络，其特征在于：在模型网络建立好后通过采用知识蒸馏的训练策略对模型网络进行训练。


7.一种基于行人区域特征提取和重识别融合模型网络的融合方法，其特征在于：所述融合方法包括区域提取特征图进行目标检测步骤；所述区域提取特征图进行目标检测步骤包括以下内容：
使用填充为1的3×3卷积层变换区域特征提取模块的输出，并将输出...

【专利技术属性】
技术研发人员：匡平，彭亮，周阳，闫华睿，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51