一种基于时空上下文信息的行人检测方法技术

本发明专利技术公开了一种基于双层时空上下文信息的行人检测方法，包括步骤：首先对原始图像进行尺寸估计得到感兴趣区域，然后提取双层时空上下文信息：提取特征层时空上下文、提取实例层空间上下文、提取实例层时序上下文，进而提取表观特征构造基础行人检测器，最终利用时空上下文模型将双层时空上下文信息与表观特征结合。本发明专利技术的方法是在基于表观特征的基础行人检测器基础上，自动提取与行人检测相关的双层时空上下文信息，并利用时空上下文模型对表观特征和双层时空上下文信息进行结合。本发明专利技术通过引入双层时空上下文信息，有效的解决了复杂背景和局部遮挡对检测性能的影响，提高了行人检测的召回率和检测精度。

【技术实现步骤摘要】
一种基于时空上下文信息的行人检测方法
本专利技术涉及监控视频和智能交通领域中的一种行人检测方法，特别是一种基于视频的行人检测方法。
技术介绍
上下文信息是不直接通过对象表观得到的一切信息，可作为一种有效的辅助方式来提升对象检测的性能。根据上下文信息提取时使用帧内或帧间信息，可将其分为空间上下文和时序上下文；根据上下文信息提取时是针对对象整体或图像特征，又可将上下文信息分为实例层和特征层。基于上下文信息的检测方法核心在于如何提取充足且有效的上下文信息，以及如何同原有表观特征检测器合理的结合起来。现有的基于上下文信息进行行人检测的论文，多是针对单独一层或一种上下文信息，不能充分的利用视频信息中的信息，导致检测性能相对较差。中国专利CN101894276A，公开日2010年11月24日，专利技术人秦磊等人，专利题目为“人体动作识别的训练方法和识别方法”提出了一种利用时空特征训练和识别人体动作识别的方法。该方法首先提取兴趣点构造视频单词，根据视频单词和某一满足时空约束的其他视频单词形成时空视频词组，对视频单词聚类得到单词团体等元素，进而构造人体动作识别分类器。该方法仅从特征层面刻画时空上下文信息且依赖于兴趣点的检测，并且应用范围为人体的动作识别。中国专利CN101127122A，公开日2008年2月20日，专利技术人潘吉彦等人，专利题目为“一种内容自适应渐进式遮挡分析目标跟踪算法”中提出了利用时空上下文（Temporal-SpatialContext或Spatio-TemporalContext）信息对感兴趣区域遮挡情况进行初步分析。该方法通过对感兴趣区域中的图像块进行后向运动估计，以观察该图像块在上一帧中是否处于非目标区域，从而根据遮挡情况先验已知的第一帧信息判断当前帧该图像块是否存在遮挡。该方法单纯利用图像块的后向预测和图像块本身的空间信息，所以得到的时空上下文信息很有限，且该方法仅被作为跟踪算法的预处理步骤。文献“IntegratingSpatio-TemporalContextwithMultiviewRepresentationforObjectRecognitioninVisualSurveillance”中提出了一种利用时空上下文信息进行监控场景下对象检测的方法，该方法提出了像素层和实例层的双层时空上下文方法，其中像素层即通过对前景像素点进行跟踪的方式得到时序上下文信息，其实例层的空间上下文单纯通过对场景建模估计出人体的可能尺寸，时序上下文则利用跟踪算法对连续帧的检测框进行跟踪得到。该方法没有结合立体视觉信息以及未在特征层面对时空上下文进行刻画，时空信息提取较为粗糙，且该方法依赖于前景提取，不适用于车载应用场景。
技术实现思路
本专利技术的目的在于提供一种基于上下文信息的行人检测方法。基于本专利技术，可以很好的实现自动提取视频中的双层上下文信息，适用于监控和车载等场景下的行人检测。根据本专利技术的上述专利技术目的之一，其中提供一种基于双层时空上下文信息的行人检测方法，包括步骤：采集步骤，采集图像视频；输入步骤，将所采集的图像视频输入；尺寸估计步骤，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；显示步骤，将上述结果返回并显示。根据本专利技术进一步的专利技术目的，其中所述尺寸估计步骤中利用摄像机参数估计地面位置，通过对地面按照深度分层的方式结合人体身高的先验知识构造感兴趣区域。根据本专利技术进一步的专利技术目的，其中同时在特征层和实例层两个层面提取时空上下文信息。根据本专利技术进一步的专利技术目的，其中首先利用表观特征构造基础行人检测器，之后利用时空上下文信息模型将其与双层时空上下文信息结合起来。根据本专利技术进一步的专利技术目的，其中对地面位置沿深度方向分为多个层次，在每一层上将人体身高的最大值和最小值作为世界坐标系下的y值，利用摄像机的内外参数构造单应性映射，得到在图像中对象的尺寸范围，生成感兴趣区域。根据本专利技术进一步的专利技术目的，其中构造时空立方体，在感兴趣区域上提取密集时空梯度特征，利用极坐标几何结构构造一种新的时空特征——三维特征上下文，从而同时获取特征层面上的空间和时间上下文。根据本专利技术进一步的专利技术目的，其中构造时空立方体是利用相邻帧进行构造的。根据本专利技术进一步的专利技术目的，其中训练阶段时首先将时空梯度特征构造成若干视觉单词，在检测阶段利用码本投票的方式将几何结构内的时空梯度特征量化为特征直方图形式，从而得到三维特征上下文。根据本专利技术进一步的专利技术目的，其中训练阶段时是采用利用词袋的方法将时空梯度特征构造成若干视觉单词的。根据本专利技术进一步的专利技术目的，其中首先构造当前帧的深度图，然后根据场景信息和对象高度估算出可能的深度，从而利用计算和估算的深度值之间的关系构造实例层的空间上下文信息。根据本专利技术进一步的专利技术目的，其中构造当前帧的深度图是利用立体视觉技术进行构造的。根据本专利技术进一步的专利技术目的，其中构造以当前帧为中心的连续数帧内对象的颜色一致性信息，从而得到时序上下文信息。根据本专利技术进一步的专利技术目的，其中构造以当前帧为中心的连续数帧内对象的颜色一致性信息是通过数据关联进行构造的。根据本专利技术进一步的专利技术目的，其中构造一个时空上下文模型，利用条件概率组合的方式将时空信息作为先验概率同表观特征检测器的分类置信度融合起来，当后验概率超过一定阈值时则认为是行人对象。根据本专利技术进一步的专利技术目的，其中构造一个时空上下文模型是利用贝叶斯概率模型构造的。根据本专利技术的另一专利技术目的，其中提供一种基于双层时空上下文信息的行人检测设备，包括下列装置：采集装置，采集图像视频；输入装置，将所采集的图像视频输入；尺寸估计装置，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；时空上下文信息提取装置，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；表观特征提取装置，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；分析处理装置，在此基础上利用事先构建的时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；显示装置，将上述结果返回并显示。本专利技术的方法对输入视频序列在特征层和实例层两个层面提取时空上下文信息，利用双层时空上下文信息模型将上下文信息与表观特征相结合。本方法不依赖于前景提取，可适用于监控和车载等场景下的行人检测。附图说明图1为基于双层时空上下文信息的行人检测方法框图；图2为尺寸估计框架图；图3为双层上下文信息提取示意图；图4a和图4b分别为特征层时空上下文提取的训练阶段和实际检测阶段的流程图；图5为实例层空间上下文提取示意图；图6为实例层时序上下文提取示意图；图7为双层时空上下文模型结构图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1，图1为基于双层时空上下文本文档来自技高网...

【技术保护点】
一种基于双层时空上下文信息的行人检测方法，包括步骤：采集步骤，采集图像视频；输入步骤，将所采集的图像视频输入；尺寸估计步骤，对于所输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；显示步骤，将上述结果返回并显示。

【技术特征摘要】
1.一种基于双层时空上下文信息的行人检测方法，包括步骤：采集步骤，采集图像视频；输入步骤，将所采集的图像视频输入；尺寸估计步骤，对于所输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息，所述双层时空上下文信息的感兴趣区域为十字路口的图像视频，所述双层时空上下文信息包含特征层和实例层两部分；表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，具体处理过程包括：首先构造行人检测训练样本，在此基础上提取表观特征构造基于表观特征的行人分类器，根据行人分类器的输出构造初始检测置信度，将双层时空上下文信息作为检测的先验概率，利用贝叶斯概率模型将双层时空上下文信息与表观特征结合起来，从而得到最终的检测结果序列；显示步骤，将上述结果返回并显示。2.根据权利要求1所述的方法，其特征在于在所述尺寸估计步骤中估计地面位置，通过对地面按照深度分层的方式结合人体身高的先验知识构造感兴趣区域。3.根据权利要求1所述的方法，其特征在于在特征层和实例层两个层面提取时空上下文信息。4.根据权利要求2所述方法，其特征在于，对地面位置沿深度方向分为多个层次，在每一层上将人体身高的最大值和最小值作为世界坐标系下的y值，利用摄像机的内外参数构造单应性映射，得到在图像中对象的尺寸范围，生成感兴趣区域。5.根据权利要求3所述的方法，其特征在于，构造时空立方体，在感兴趣区域上提取密集时空梯度特征，利用极坐标几何结构构造三维特征上下文，该三维特征上下文包括特征层面上的空间和时间上下文。6.根据权利要求5所述的方法，其特征在于，构造时空立方体是利用相邻帧进行构造的。7.根据权利要求5所述的方法，其特征在于，在训练阶段，首先将时空梯度特征构造成若干视觉单词，在检测阶段利用码本投票的方式将几何结构内的时空梯度特征量化为...

【专利技术属性】
技术研发人员：田永鸿，许腾，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：