基于流水线结构的高速视频目标检测方法技术

本发明专利技术属于图像处理、光电技术技术领域，具体涉及一种基于流水线结构的高速视频目标检测方法。本发明专利技术的方法采用8线程流水处理方式，并行实施以下线程：视频获取线程、灰度化线程、背景学习线程、视频差分线程、阈值分割线程、形态滤波线程、区域划分线程和特征统计与存储线程。本发明专利技术的方法解决了现有PC环境下高清视频目标检测速度慢、实时性差的技术问题；采用多线程并行流水式处理结构，在多核CPU环境下可在满足检测性能的同时极大的提高程序的运行速度，为后续智能视频分析速度提供了较大提升空间。

【技术实现步骤摘要】
基于流水线结构的高速视频目标检测方法
本专利技术属于图像处理、光电技术
，具体涉及一种基于流水线结构的高速视频目标检测方法。
技术介绍
随着高清相机的发展，在PC环境下的智能视频分析的速度成为其应用的限制。在智能视频目标分析系统中，目标检测处理所需的步骤较多，如视频解码、背景建模、图像差分、二值化、形态学滤波、区域划分、目标关联、写数据库等，因此程序运行缓慢，影响了系统的实时性。由于大多视频分析系统的视频处理速度要求超实时处理，必须对处理算法及整个处理架构做出相应设计。因此，找到一种高速的视频目标检测方法是整个系统软件设计的重要任务。
技术实现思路
本专利技术需要解决的技术问题为：现有技术中PC环境下高清视频目标检测速度慢、实时性差。本专利技术的技术方案如下所述：采用8线程流水处理方式，并行实施以下线程：1)视频获取线程；2)灰度化线程；3)背景学习线程；4)视频差分线程；5)阈值分割线程；6)形态滤波线程；7)区域划分线程；8)特征统计与存储线程。作为优选方案，本专利技术的方法流程如下所述：1)视频获取线程将视频文件解码成帧图像Fk，并存入公用内存区，对其进度标志dP_Read进行自增；2)灰度化线程判断灰度化线程线程进度标志dP_Gray是否小于dP_Read：若dP_Gray≥dP_Read，则进行短暂休眠；若dP_Gray<dP_Read，则对采集到的帧图像Fk进行灰度化操作，将结果记为Fgk，并将其存入公共内存区，对其进度标志dP_Gray进行自增；3)背景学习线程判断背景学习线程进度标志dP_Background是否小于dP_Gray：若dP_Background≥dP_Gray，则进行短暂休眠；若dP_Background<dP_Gray，则根据当前图像、前帧图像、前帧背景求取对应像素背景差和帧间差，判断是否进行背景更新；对所有像素进行上述判断背景学习线程进度标志dP_Background是否小于dP_Gray操作就完成了背景更新，得到当前帧的背景图像BGk，对其进度标志dP_Background进行自增；4)视频差分线程判断视频差分线程进度标志dP_Diff是否小于dP_Background：若dP_Diff≥dP_Background，则进行短暂休眠；若dP_Diff<dP_Background，则针对当前背景BGk与当前帧灰度图像Fgk，计算背景差分图像Dk，将图像Dk存入公共内存区，对其进度标志dP_Diff进行自增；5)阈值分割线程判断阈值分割线程进度标志dP_Threshold是否小于dP_Diff：若dP_Threshold≥dP_Diff，则进行短暂休眠；若dP_Threshold<dP_Diff，则计算图像Dk的均值μ和标准差σ，针对图像Dk中大于μ+σ的像素值，采用最大类间方差法对图像Dk进行分割，形成分割图像Dtk，将图像Dtk存入公共内存区，对其进度标志dP_Threshold进行自增；6)形态滤波线程判断形态滤波线程进度标志dP_Morph是否小于dP_Threshold：若dP_Morph≥dP_Threshold，则进行短暂休眠；若dP_Morph<dP_Threshold，则去除图像Dtk中的噪点、填补空洞，将去噪、填补空洞之后的图像Dmk存入公共内存区，对其进度标志dP_Morph进行自增；7)区域划分线程判断区域划分线程进度标志dP_Region是否小于dP_Morph：若dP_Region≥dP_Morph，则进行短暂休眠；若dP_Region<dP_Morph，则对图像Dmk中的目标区域进行区域标记，通过判断非0像素点之间的连通性，将同属于一个区域的像素点标记在一起；经过区域标记后，得到一组目标，统计各目标的横纵方向的最大最小值，计算其外接矩形的面积，统计其重心，将前一帧图像中标记出的各目标与当前帧求取的目标进行相似性帧间关联；将目标区域信息存入公共内存区，对其进度标志dP_Region进行自增；8)特征统计与存储线程判断特征统计与存储线程进度标志dP_Feature是否小于dP_Region：若dP_Feature≥dP_Region，则进行短暂休眠；若dP_Feature<dP_Region，则特征统计通过对本帧出现的目标以图像Dmk作为掩膜，对RGB图Fk进行特征提取；将提取出的特征写入数据库，以备后续处理使用；对其进度标志dP_Feature进行自增。作为优选方案，背景学习线程中，判断是否进行背景更新的具体流程如下所述：设像素(i,j)帧间差为Df，背景差为Db，帧间差阈值为FThr，背景差阈值为BThr。若满足|Df|≤FThr且Db>BThr，则对像素(i,j)叠加更新量m进行背景更新；否则不背景更新。其中，作为优选方案，形态滤波线程中，采用形态滤波操作去除图像Dtk中的噪点，填补空洞：采用3*3的矩形模板对Dtk进行腐蚀操作，去除噪声；之后采用5*5矩形模板对其进行膨胀操作，填补空洞，形成图像Dmk。作为优选方案，区域划分线程中，所述相似性帧间关联具体操作为：对当前帧任意目标T计算其与前帧目标之间的重叠面积，若有重叠则将前帧目标记为候选目标；去除与目标T的面积差值超过10％目标T的面积的候选目标，之后选择距离目标T的质心欧式距离最近的候选目标作为目标T的关联目标，两个目标分配相同且唯一的目标ID。本专利技术的有益效果为：本专利技术的基于流水线结构的高速视频目标检测方法，采用多线程并行流水式处理结构，在多核CPU环境下可在满足检测性能的同时极大的提高程序的运行速度，为后续智能视频分析速度提供了较大提升空间。附图说明图1为本专利技术的软件流水结构示意图；图2为本专利技术的线程流程图。具体实施方式下面结合附图和实施例对本专利技术的基于流水线结构的高速视频目标检测方法进行详细说明。本专利技术的基于流水线结构的高速视频目标检测方法，包括以下11个步骤：视频解码、灰度化、背景建模、视频差分、计算阈值、二值化、形态滤波、区域划分、目标跟踪、特征统计、写数据库。划分的各个小的计算任务互相之间会产生数据的调用，在处理中会被两个或以上步骤调用的数据有：解码后的原始图像数据、灰度化后的图像数据、差分图像数据、目标区域信息数据，需要采用相应的内存管理机制。本实施例中的目标检测方法拟在4核8线程处理器的PC上运行，按照并行程序的设计原则，需要使线程数等于处理器的数目，因此将上述11个步骤中耗时较少的步骤进行合并，即1)计算阈值与二值化合并、2)区域划分与目标跟踪合并、3)特征统计与写数据库合并，最终形成8个处理线程。由于不加指定的多线程程序在运行时各线程会相互之间争取处理核心，因此处理速率会受影响，必须采用处理器映射指定任务到哪个处理器上去执行，保证各个线程有足够的运算资源，以减少算法的总执行时间。本专利技术的基于流水线结构的高速视频目标检测方法整体流程如下：1)视频获取线程采用解码函数将视频文件解码成帧图像，记为Fk，并存入公用内存区，对其进度标志dP_Read进行自增。2)灰度化线程判断本线程进度标志dP_Gray是否小于dP_Read：若dP_Gray≥dP_Read，则进行短暂休眠；若dP_Gray<dP_Read，则对采集到本文档来自技高网...

【技术保护点】
一种基于流水线结构的高速视频目标检测方法，其特征在于：采用8线程流水处理方式，并行实施以下线程：1)视频获取线程；2）灰度化线程；3）背景学习线程；4）视频差分线程；5）阈值分割线程；6）形态滤波线程；7）区域划分线程；8）特征统计与存储线程。

【技术特征摘要】
1.一种基于流水线结构的高速视频目标检测方法，其特征在于：采用8线程流水处理方式，并行实施以下线程：1)视频获取线程；2)灰度化线程；3)背景学习线程；4)视频差分线程；5)阈值分割线程；6)形态滤波线程；7)区域划分线程；8)特征统计与存储线程；本方法流程如下所述：1)视频获取线程将视频文件解码成帧图像Fk，并存入公用内存区，对其进度标志dP_Read进行自增；2)灰度化线程判断灰度化线程线程进度标志dP_Gray是否小于dP_Read：若dP_Gray≥dP_Read，则进行短暂休眠；若dP_Gray<dP_Read，则对采集到的帧图像Fk进行灰度化操作，将结果记为Fgk，并将其存入公共内存区，对其进度标志dP_Gray进行自增；3)背景学习线程判断背景学习线程进度标志dP_Background是否小于dP_Gray：若dP_Background≥dP_Gray，则进行短暂休眠；若dP_Background<dP_Gray，则根据当前图像、前帧图像、前帧背景求取对应像素背景差和帧间差，判断是否进行背景更新；对所有像素进行上述判断背景学习线程进度标志dP_Background是否小于dP_Gray操作就完成了背景更新，得到当前帧的背景图像BGk，对其进度标志dP_Background进行自增；4)视频差分线程判断视频差分线程进度标志dP_Diff是否小于dP_Background：若dP_Diff≥dP_Background，则进行短暂休眠；若dP_Diff<dP_Background，则针对当前背景BGk与当前帧灰度图像Fgk，计算背景差分图像Dk，将图像Dk存入公共内存区，对其进度标志dP_Diff进行自增；5)阈值分割线程判断阈值分割线程进度标志dP_Threshold是否小于dP_Diff：若dP_Threshold≥dP_Diff，则进行短暂休眠；若dP_Threshold<dP_Diff，则计算图像Dk的均值μ和标准差σ，针对图像Dk中大于μ+σ的像素值，采用最大类间方差法对图像Dk进行分割，形成分割图像Dtk，将图像Dtk存入公共内存区，对其进度标志dP_Threshold进行自增；6)形态滤波线程判断形态滤波线程进度标志dP_Morph是否小于dP_Threshold：若dP_Morph≥dP_Threshold，则进行短暂休眠；若dP_Mo...

【专利技术属性】
技术研发人员：李亚鹏，柴智，杨文佳，
申请(专利权)人：北京环境特性研究所，
类型：发明
国别省市：