一种基于视频流的人员检测与识别的并行处理方法技术

本发明专利技术属于图像处理技术领域，尤其为一种基于视频流的人员检测与识别的并行处理方法，利用所述视频流进行背景减除法提取前景，将提取前景后的图片放入同一个卷积网络中检测与识别人员，利用OIM损失函数及其他损失函数监督网络的学习；该种基于视频流的人员检测与识别的并行处理方法，主要用于室内场景，光照比较稳定，用重识别匹配能起到更好的效果，另外，在人员检测之前通过前景提取进行预处理，能够提高之后人员检测的准确度，本发明专利技术将背景减除法与CNN网络结合，达到基于视频流的人员检测与识别的并行处理效果，使模型的准确率得到提高，将人员检测与人员重识别在同一个神经网络下进行训练，能够共享参数。

A parallel processing method of human detection and recognition based on video stream

The invention belongs to the technical field of image processing, in particular to a parallel processing method of personnel detection and recognition based on video stream, which uses the video stream for background subtraction to extract foreground, puts the picture after foreground extraction into the same convolution network to detect and identify personnel, and uses OIM loss function and other loss functions to supervise the learning of network; the method is based on video stream The parallel processing method of personnel detection and recognition is mainly used in indoor scenes. The illumination is relatively stable, and the recognition and matching can play a better effect. In addition, the preprocessing through foreground extraction before personnel detection can improve the accuracy of subsequent personnel detection. In this paper, background subtraction method is combined with CNN network to achieve the combination of personnel detection and recognition based on video flow The result of line processing improves the accuracy of the model, trains the personnel detection and personnel recognition in the same neural network, and shares the parameters.

【技术实现步骤摘要】
一种基于视频流的人员检测与识别的并行处理方法
本专利技术属于图像处理
，具体涉及一种基于视频流的人员检测与识别的并行处理方法。
技术介绍
人员重识别指的是利用计算机视觉技术，判断图像或者视频序列中是否存在某个特定人员的技术，人员重识别被广泛地认为是一个图像检索的子问题，给定一个监控人员图像，来检索跨设备下的该人员图像，重识别技术通过人的衣服颜色、姿态等特征以及给定的标准来匹配目标人员与检测，该技术在保卫安全领域有着广泛的应用。深度学习是近些年出现的一种利用计算机的高性能进行图像检测分割的新型机器学习算法，由于其准确性和快速成为图像检测与分割的热门算法，传统利用深度学习进行人员重识别是将人员检测与人员重识别看作两个部分，分别利用两个神经网络进行学习，这种算法不能共享底层参数，影响了算法的准确度和计算效率，所以使用一个神经网络对两个检测与识别两个目标进行并行训练，保证了更高的准确度。
技术实现思路
为解决上述
技术介绍
中提出的问题。本专利技术提供了一种基于视频流的人员检测与识别的并行处理方法，具有可以通过视频画面的特征提取前景，并使检测与识别两个过程共享底层参数，提高人员重识别的准确度，提高计算效率的特点。为实现上述目的，本专利技术提供如下技术方案：一种基于视频流的人员检测与识别的并行处理方法，利用所述视频流进行背景减除法提取前景，将提取前景后的图片放入同一个卷积网络中检测与识别人员，利用OIM损失函数及其他损失函数监督网络的学习，主CNN网络为ResNet-50。优选的，包括以下步骤：S1、创建数据集：通过监控摄像头得到所需检测的视频，并将视频流按帧解析得到多帧RGB图像，按时间顺序逐帧保存图像，手工标记所得图像的人员边界框及人员标；S2、前景提取：将前帧的图像与背景图像进行差分比较，建立每个像素点的高斯模型，并得到每个像素点的概率分布，利用概率分布提取前景；S3、模型训练：使用ResNet-50的前4个卷积层作为网络进行训练，通过训练得到卷积特征图，将特征图转换为人员检测设计的特征图并放入人员待选网络中，使用softmax分类器识别人员，得到待选人员特征图，利用RoI-Pooling层，通过全局池化层得到特征向量，对特征向量再一次利用softmax分类器及线性回归排除非人员部分，并使用损失函数监督网络训练；S4、相似度对比：将人员的特征向量整合为查找表，将需要检测的区域的人员特征与查找表利用余弦相似进行比对，匹配到查找表中的目标。优选的，在S2中采用混合高斯背景模型法并利用递归的统计平均方法进行前景提取，包括以下步骤：S2.1、对图像中每一个像素点建立K个高斯模型，并定义t时刻像素点X的概率密度函数；S2.2、定义权值和标准差的比值，并按照比值大小将每个像素点的K个高斯分布由大到小进行排序；S2.3、对获取的当前帧的各个像素值分别与已经存在的K个高斯分布进行匹配；S2.4、利用上述结果进行判断，如果当前帧的像素值与B个高斯模型都不匹配，则判定该像素点为前景点，否则为背景点。与现有技术相比，本专利技术的有益效果是：1、该种基于视频流的人员检测与识别的并行处理方法，主要用于室内场景，光照比较稳定，用重识别匹配能起到更好的效果；2.另外，在人员检测之前通过前景提取进行预处理，能够提高之后人员检测的准确度；3.同时，本专利技术将背景减除法与CNN网络结合，达到基于视频流的人员检测与识别的并行处理效果，使模型的准确率得到提高，将人员检测与人员重识别在同一个神经网络下进行训练，能够共享参数，提高训练效率与准确率。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术的前景提取方法的流程结构示意图；图2为本专利技术中的检测与重识别阶段流程结构示意图；图3为本专利技术中的前景提取阶段的效果图；图4为本专利技术中的重识别阶段检测图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-4，本专利技术提供以下技术方案：一种基于视频流的人员检测与识别的并行处理方法，利用视频流进行背景减除法提取前景，将提取前景后的图片放入同一个卷积网络中检测与识别人员，利用OIM损失函数及其他损失函数监督网络的学习，主CNN网络为ResNet-50。具体的，包括以下步骤：S1、创建数据集：通过监控摄像头得到所需检测的视频，并将视频流按帧解析得到多帧RGB图像，按时间顺序逐帧保存图像，手工标记所得图像的人员边界框及人员标；S2、前景提取：将前帧的图像与背景图像进行差分比较，建立每个像素点的高斯模型，并得到每个像素点的概率分布，利用概率分布提取前景；S3、模型训练：使用ResNet-50的前4个卷积层作为网络进行训练，通过训练得到卷积特征图，将特征图转换为人员检测设计的特征图并放入人员待选网络中，使用softmax分类器识别人员，得到待选人员特征图，利用RoI-Pooling层，通过全局池化层得到特征向量，对特征向量再一次利用softmax分类器及线性回归排除非人员部分，并使用损失函数监督网络训练；S4、相似度对比：将人员的特征向量整合为查找表，将需要检测的区域的人员特征与查找表利用余弦相似进行比对，匹配到查找表中的目标。具体的，在S2中采用混合高斯背景模型法并利用递归的统计平均方法进行前景提取，包括以下步骤：(1)建立数据库并标记数据读取监控摄像头中的采集视频数据，将视频流按帧解析得到RGB图像，并按帧进行保存，手工标注边界框与人员标签；(2)对所述步骤1中的RGB图像进行前景提取预处理的步骤：对图像中的每一个像素点建立K个高斯模型。定义t时刻像素点X的概率密度函数：定义权值和标准差的比值为：之后按照Pi,t的大小将每个像素点的K个高斯分布由大到小进行排序；对获取的当前帧的各个像素值分别与已经存在的K个高斯分布进行匹配，如果满足|Xt+1-μn,t|＜2.5δn,t则进行步骤a，否则进行步骤b；(a)对于第一个相匹配的高斯分布的参数进行更新：Wn,t+1＝(1-α)Wn,t+α(b)对于第一个相匹配的高斯分布的参数进行更新：Wn,t+1＝(1-α)Wn,t若(H为设定的阈值),则将这个分布作为背景像素模型；用上面的结果进行判断，如果当前帧的像素值与B个高斯模型都不匹配，则判定该像素点为前景点，否则为背景点。本专利技术的工作原理及使用流程：首先对摄像头拍摄的监控视频利用混合高斯背景下的背景本文档来自技高网...

【技术保护点】
1.一种基于视频流的人员检测与识别的并行处理方法，其特征在于：利用视频流进行背景减除法提取前景，将提取前景后的图片放入同一个卷积网络中检测与识别人员，利用OIM损失函数及其他损失函数监督网络的学习，主CNN网络为ResNet-50。/n

【技术特征摘要】
1.一种基于视频流的人员检测与识别的并行处理方法，其特征在于：利用视频流进行背景减除法提取前景，将提取前景后的图片放入同一个卷积网络中检测与识别人员，利用OIM损失函数及其他损失函数监督网络的学习，主CNN网络为ResNet-50。


2.根据权利要求1所述的一种基于视频流的人员检测与识别的并行处理方法，包括以下步骤：
S1、创建数据集：通过监控摄像头得到所需检测的视频，并将视频流按帧解析得到多帧RGB图像，按时间顺序逐帧保存图像，手工标记所得图像的人员边界框及人员标；
S2、前景提取：将前帧的图像与背景图像进行差分比较，建立每个像素点的高斯模型，并得到每个像素点的概率分布，利用概率分布提取前景；
S3、模型训练：使用ResNet-50的前4个卷积层作为网络进行训练，通过训练得到卷积特征图，将特征图转换为人员检测设计的特征图并放入人员待选网络中，使用softmax分类器识别人员，得到待选人员特征图，利用Ro...

【专利技术属性】
技术研发人员：陈金越，胡贤良，方建勇，曹春胜，
申请(专利权)人：旭辉卓越健康信息科技有限公司，
类型：发明
国别省市：浙江;33