基于学习的行车记录视频浓缩方法技术

本申请公开了一种基于学习的行车记录视频浓缩技术，包括以下步骤：在行车记录视频的感兴趣区域中，逐帧提取所有像素点的光流矢量，产生感兴趣区域的光流特征；将光流特征按帧输入到与每个事件对应的事件模型，对每帧计算其中发生每个事件的概率；将每帧标记为对该帧计算的发生概率最大的事件；如果行车记录视频的连续多帧被标记为同一事件，则截取行车记录视频的连续多帧，作为与该事件对应的浓缩视频。本发明专利技术有效地利用了视频中的运动信息，用以学习事件各个事件的模型。这些模型可以有效的解决行车记录视频的浓缩中的问题，并为行车安全提供辅助信息。本系统可检测行车记录视频中的具有较强区分性的特定事件，具有实时性好、识别精度高的特点。

【技术实现步骤摘要】

本专利技术属于模式识别和智能监控领域，尤其涉及一种基于学习的行车记录视频浓缩技术。
技术介绍
随着人们行车安全意识的提高，行车记录仪的使用在我们的生活中已经越来越普遍，由此便产生了大量的行车记录视频。行车记录仪所记录的视频中，大部分的视频属于正常行驶情况下所拍摄的，这种情况下拍摄的视频对我们的帮助不大，因此人工在大量冗长的行车记录视频中查询感兴趣事件成为了一种耗时劳心的工作。随着计算机视觉及模式识别技术的日益成熟，人们更期待能使用计算机视觉、模式识别技术及计算机强大的数据处理能力来处理行车记录视频，从而找到能智能检测、搜索定位并得到感兴趣事件的浓缩视频的方法。视频浓缩（也称视频摘要）是通过在时间轴上压缩原始视频，使用时间上远短于原始视频的视频片段表达视频概要的技术。快进可以看作最原始的一种视频浓缩方法，它是通过等间隔的选择一些视频帧并跳过一些帧，来达到视频浓缩的目的。但这种方式并不能很好的表达一个视频，因为它无法自适应的丢弃无用视频片段，并且这种方法极有可能丢失一些重要的细节。由于普通的监控视频都是由固定位置的摄像头拍摄的，因此这种监控视频的背景在短时间内变化很小。在视频监控领域先已有一些方法基于普通监控视频的这种特点，通过背景建模进一步检测视频中前景，从而达到视频浓缩的目的。现有技术一：自适应抽帧的方法。这种方法（参见参考文献【1】【2】）首先通过背景建模检测出视频中的活动前景，试图跳过低活动率和不感兴趣的帧，并保留下活动率比较高和用户更感兴趣的帧，或者保留一些视频片段来代表视频内容（参见参考文献【3】）。同时，这种方法不仅仅限于根据活动率来浓缩视频，也可以根据不同用户的不同关注点，如声音、摄像头的运动、物体的运动、颜色等进行视频浓缩。现有技术二：基于关键帧的方法。在参考文献【4】【5】中提出了使用关键帧来产生浓缩视频的方法。关键帧的选取可以是任意的，也可以是根据一些重要的标准。这里关键帧的提取技术是影响视频浓缩质量的关键。当提取的关键帧过少的时候，浓缩视频会丢失原始视频中很多重要的动态信息；当提取的关键帧过多时，又不能达到很好的视频浓缩效果。现有技术三：基于前景目标的方法。在参考文献【6】【7】【8】【9】中提出了一种基于前景目标的视频浓缩方法。与上述两种方法不同，这种方法浓缩视频时不仅利用了视频时间的冗余，而且利用了视频空间上的冗余，因此浓缩视频的一个视频帧中可能包含来自于不同时间段的，空间位置上不重叠的物体。这种方法通过背景建模的方法检测出视频中的前景，并记录他们的运动轨迹，然后在时间域上通过移动物体，将不同的物体融合到相同的视频片段中便可以达到视频浓缩的目的，这些物体的运动轨迹应尽量少的重叠，且浓缩视频片段尽可能的短。虽然上述的这些方法可以处理普通的监控视频，且可以达到一个较好的浓缩效果，但这些方法并不适用于行车记录视频的浓缩。行车记录视频与普通监控视频最大的区别在于行车记录仪是随着车的运动而运动的，因此传统的通过背景建模提取前景目标并进行浓缩视频的方法已经完全不适用于行车记录视频。在车辆行进的过程中，所拍摄的行车记录视频中所有物体都是运动的（除车上固定物体）因此不能通过简单的背景建模的方法区分前景与背景。同时上述传统视频浓缩的方法的目的是用较短的视频表达原始视频中所有的运动前景，并不关注于这种运动是以什么方式进行的，但在行车记录视频中，随时都会有车辆及行人的运动，而其中大部分时间车辆及行人的运动属于正常行驶下的情况，并不含有太多用户感兴趣的事件，因此，行车记录视频的浓缩的重点并不在前景物体及其运动轨迹的检测上，而是在于前方车辆及行人与本车所处的状态（以及相互关系）。因此，我们不仅仅需要检测前方目标及其运动轨迹，而且更需要判断其处于哪种状态或运动方式。有时，即使在行车记录视频中没有前景目标情况下，我们也需要根据背景的移动方式（视野的变化）判断本车的状态是否代表我们所关心的事件。由于车辆本身的运动复杂多样，同时车辆与车外物体之间相对运动的存在，使得行车记录视频中的物体的运动复杂多样，即使能够找到所感兴趣的前景目标，仅仅使用物体的运动轨迹已经很难表达物体的真正的运动，更不可能表达本车的运动方式，因此上述的方法已不足于区分哪些是用户感兴趣的事件。
技术实现思路
针对上述传统浓缩技术所存在的问题，本专利技术提出了一种基于学习的行车记录视频的浓缩方法。针对行车记录视频中的不同事件，本专利技术提供了一种结合视频运动特征和时域信息、利用支持向量机（Support Vector Machine，SVM）对行车记录视频中特定事件进行检测、提取并浓缩的系统。同时本专利技术具有车牌识别、GPS定位等功能，当检测到不安全事件时，可以将有用信息发送到相关部门，用于保障本车和其他车辆的行车安全。现有的视频浓缩技术只适用于普通的背景在短时间内不会变化的监控视频的浓缩，并不能用于行车记录视频的视频浓缩。由于摄像头随着车辆的移动，行车记录视频中的物体都是运动的，通过背景建模的方法无法找到真正的背景，因此不能找到我们感兴趣的目标的位置。同时，行车记录视频关注的是本车及前方车辆所处的状态，因此我们不仅仅需要提取所有前景目标及其运动轨迹，更需要根据这些有限的信息，判断出车辆的运动状态，判断它是否属于我们所关心的事件，然后得到行车记录视频的浓缩视频。另一方面，我们在检测到不安全事件时，不仅可以提醒驾驶者，引导其安全行驶，而且可以利用车牌识别，GPS定位等技术提取有用信息。本专利技术提出一种针对重点区域提取特征的方法。由于行车视频中一些区域并不含有用信息（如天空，树木等），且会干扰对事件的判断，因此我们提出了只针对部分区域提取特征的方法来减少这种干扰。我们通过人工划定区域的方式，选取感兴趣区域（如车辆前方道路可能包含车辆的地方）。本专利技术还提出了两种通过提取视频特征并利用学习的方法得到事件模型的方法，并将学习得到的模型用以浓缩行车记录视频。本方法主要提取了视频中的全局光流特征与基于感兴趣点的光流特征，用于后续事件模型的学习与事件类别的判断。光流是对视频中物体的运动比较敏感的特征，它们的鲁棒性也比较好，因此可以用于行车记录视频的浓缩。模型学习首先使用了SVM为每一类事件学习了其对应的模型，因此当得到所有模型之后，待浓缩视频中的事件便可以看作一个基于SVM的多分类问题。然后对于基于感兴趣点的局部光流特征使用了词本文档来自技高网...

【技术保护点】
一种基于学习的行车记录视频浓缩方法，包括以下步骤：步骤10、在行车记录视频的感兴趣区域中，逐帧提取所有像素点的光流矢量，产生所述感兴趣区域的光流特征；步骤20、将所述光流特征按帧输入到与每个事件对应的事件模型，对每帧计算其中发生每个事件的概率；步骤30、将每帧标记为：对该帧计算的发生概率最大的事件；以及步骤40、如果所述行车记录视频的连续多帧被标记为同一事件，则截取所述行车记录视频的连续多帧，作为与该事件对应的浓缩视频。

【技术特征摘要】
1.一种基于学习的行车记录视频浓缩方法，包括以下步骤：
步骤10、在行车记录视频的感兴趣区域中，逐帧提取所有像素点的光流
矢量，产生所述感兴趣区域的光流特征；
步骤20、将所述光流特征按帧输入到与每个事件对应的事件模型，对每
帧计算其中发生每个事件的概率；
步骤30、将每帧标记为：对该帧计算的发生概率最大的事件；以及
步骤40、如果所述行车记录视频的连续多帧被标记为同一事件，则截取
所述行车记录视频的连续多帧，作为与该事件对应的浓缩视频。
2.根据权利要求1所述的行车记录视频浓缩方法，其中，所述感兴趣区
域是行车记录视频的每帧中的固定区域，其是通过人工或自动的方式选择的。
3.根据权利要求2所述的行车记录视频浓缩方法，其中，所述步骤10
包括以下步骤：
步骤10-1、将每个像素的光流矢量量化到以下8个角度范围之一：
(-22.5°，22。5°]、(22.5°，67.5°]、(67.5°，112.5°](112.5°，157.5°]
(157.5°，202.5°]、(202.5°，247.5°]、(247.5°，292.5°]和(292.5°，337.5°];
步骤10-2、计算并记录光流矢量的水平方向分量大小、垂直方向分量大
小、以及幅值；
步骤10-3、统计并记录以下直方图：
1）其光流矢量属于各个角度范围的像素点的个数的统计直方图；
2）量化到各个角度范围的所有像素的光流矢量的水平分量大小之和
的统计直方图；
3）量化到每个角度范围的所有像素的光流矢量的垂直分量大小之和
的统计直方图；
4）量化到每个角度范围的所有像素的光流矢量的幅值之和的统计直
方图；
步骤10-4、将上述4个直方图级联，级联后的直方图作为所述光流特征。
4.根据权利要求3所述的行车记录视频浓缩方法，其中，所述事件模型
是支持向量机模型，在所述步骤20中，通过以下公式计算在行车记录视频的
每帧中发生每个事件i的概率pi：
pi=fi(x)Σj=1Nfj(x)]]>其中，为从所述行车记录视频的每帧提取的所述光流特征，fi(x)为所述
行车记录视频的该帧在事件i的事件模型下的得分，N为事件的总数。
5.根据权利要求3所述的行车记录视频浓缩方法，还包括以下步骤：
步骤11、通过SIFT特征中提取感兴趣点的方法，在每帧的感兴趣区域中
选取多个关...

【专利技术属性】
技术研发人员：吴怀正，
申请(专利权)人：吴怀正，
类型：发明
国别省市：北京;11