一种基于深度学习技术的视频摘要生成方法技术

一种基于深度学习技术的视频摘要生成方法，包括：对视频流逐帧进行背景建模，获取运动前景作为候选运动目标；使用多目标跟踪算法对每一帧的候选运动目标跟踪，更新形成运动轨迹的候选目标；使用卷积神经网络训练目标分类器，对候选目标进行确认，在确认真实运动目标后，使用分类器对目标类别进行判定；将所有真实运动目标和相关信息贴合在少量图像上，形成视频快照显示给用户。本发明专利技术利用深度学习技术对真实目标和噪声进行准确区分；且利用准确的多目标追踪技术来避免逐帧进行目标确认，大幅减少了计算量，有效降低了弱小目标的漏检率及噪声的虚警率，提升了视频处理速度，能够运用于各种复杂的场景。

【技术实现步骤摘要】

本专利技术涉及图像处理
，更具体地，涉及。
技术介绍
现代社会中，视频监控系统在各行各业中都扮演着重要的角色，在维护社会治安，加强社会管理以及安全保障方面发挥着重要的作用；但是伴随着摄像头数目的飞速增长，海量的监控视频数据的存储以及了解这些视频中记录的事件会耗费大量的人力、物力。根据IteportLinker公司统计，在2011年，全世界拥有超过1.65亿个监控摄像机，产生1.4万亿个小时的监控数据，假如有20 %的重要监控视频数据需要人工观看，则需要雇佣超过I亿的劳动力(每天工作8小时，每年工作300天)。因此，将大量的视频进行浓缩，帮助用户快速了解视频中发生的事件，迅速锁定检索对象，能够有效地提高海量监控视频的利用效率。 在图像处理领域，为了提高视频的浏览效率，可采用视频摘要技术，将视频中用户感兴趣的内容提取出来，然后将它们以紧凑的方式重新安排，以视频快照的形式将视频的内容展示出来。为了能够自动的提取视频中用户感兴趣的内容，最简单的方法是提取原始视频中的关键帧，来构成视频摘要(例如参考文献:查德威克凯姆等，“一种基于目标的视频摘要整体方案”，《第八届计算机协会多媒体国际会议汇刊》，2000年，第303-311页(Kim, C., Hwang, J.N.:An integrated scheme for object-based video abstract1n.1n:Proceedings of the eighth ACM internat1nal conference on Multimedia.(2000) 303-311))，但是关键帧无法完整的描述整段视频，会造成视频中重要信息的丢失，而且由于视频内容种类繁多，如何选择合适的关键帧是一个难题。另一种方法是先对视频内容进行分析，提取原始视频中运动目标的相关信息，然后将提取出的运动信息紧凑地安排，生成视频摘要(例如参考文献:雅艾尔普瑞奇等，“非时序视频摘要与索引”，《IEEE模式分析与机器智能汇刊》，2008年,第1971-1984页(Pritch, Y.，Rav-Acha, A.，Peleg,S.:Nonchronological video synopsis and indexing.1EEE Trans.Pattern Anal.Mach.1ntell.30(2008) 1971-1984))，这种方法能够较好的保留视频的动态内容。对于这种方法来说，问题的关键在于如何准确地提取用户感兴趣的所有事件。 对于监控视频来说，监控视频的拍摄场景非常复杂:有的场景车辆多，运动速度快，如高速公路；有的场景中，运动目标在画面上所占像素面积很小；有的场景中，树木、旗子等不感兴趣的物体由于风吹而同样产生运动等等；场景的复杂性为运动目标的准确检测带来很大的挑战。目前的视频摘要技术并不能很好地解决复杂场景中运动目标的检测问题，常常使得运动目标的漏检率非常高，同时受噪声干扰较大，无法准确提取视频中的重要事件，从而致使生成的视频摘要漏掉原始视频中的重要信息。
技术实现思路
有鉴于此，本专利技术的目的是提出，以方便用户对长时间的监控视频进行快速浏览，降低复杂场景中运动目标的漏检率以及错检率。 为了实现上述目的，本专利技术提供了，包括以下步骤: 步骤1，对输入的原始视频的图像序列进行背景建模，提取运动目标对应的前景区域； 步骤2，将获得的所述前景区域作为运动候选目标，使用多目标跟踪技术对所述运动候选目标进行跟踪，计算每一帧中所述运动候选目标的运动轨迹； 步骤3，对确定所述运动轨迹为活跃轨迹的运动候选目标使用基于深度学习技术的目标分类器进行进一步确认，判定所述运动候选目标是否是真实的目标，以及确认目标后，再使用分类器判断所述运动候选目标的类别； 步骤4，将多个检测到的所述运动目标贴合在同一幅图像中，生成视频快照，以所述视频快照展示视频中检测到的所述运动目标。 其中，在步骤I中对输入的原始视频的图像序列进行背景建模的步骤之前还包括将输入的所述原始视频的图像序列缩放至相同大小的步骤。 其中，在步骤I所述提取运动目标对应的前景区域的步骤中还包括对获得的所述运动前景进行后处理的步骤，具体包括: 步骤11，用形态学结构元素，对所述前景区域进行形态学开运算和形态学闭运算，获得轮廓光滑的前景区域，并且消除面积较小的噪声块； 步骤12，对所述前景区域进行面积计算，若所述前景区域像素点数目小于T1 = 5时，则滤除所述前景区域，否则，保留所述前景区域，确定所述前景区域是候选目标。 其中，在步骤2中所述的多目标跟踪技术是基于匈牙利算法构建的，具体包括: 步骤21，计算当前帧的所述运动候选目标的颜色直方图特征，以及所述颜色直方图特征与上一帧中运动候选目标的相似性； 步骤22，利用卡尔曼滤波预测上一帧中的所述运动候选目标在当前帧的位置信息，计算所述运动候选目标的预测位置与当前帧所述运动候选目标位置之间的欧氏距离； 步骤23，根据上述计算结果，使用匈牙利算法，对当前帧中的所述运动候选目标与上一帧中所述运动候选目标的轨迹进行匹配，获得匹配结果，并根据所述匹配结果更新所述运动候选目标的轨迹。 其中，在步骤3中所述的目标分类器是预先使用深度学习技术中的卷积神经网络进行离线训练得到的，用于判定所述运动候选目标是否是真实目标，以及所述运动候选目标的类型。 其中，对所述的目标分类器进行离线训练的步骤包括采用样品集来离线训练所述目标分类器，以及训练所述目标分类器使用的样本集包括监控视频中出现的五类运动目标或物体对应的图像和除去这五类外的图像背景区域:①行人；②非机动车；③轿车等小型车卡车等大型车；⑤树木、旗帜等非感兴趣目标但是会运动物体的局部；⑥监控场景中的除了上述五类运动物体外的图像区域；通过上述训练得到一个六分类的目标分类器，用于确认所述运动候选目标是否是真实目标。 其中，将上述样本中①、②类样本以及③、④样本分别组合成两个大的类别:人、机动车，使用这两类样本训练一个人/机动车的二分类分类器，用于在确认所述运动候选目标为感兴趣目标之后，对所述运动候选目标的类别进行判定。 其中，步骤3具体包括以下步骤: 步骤31，对于没有形成轨迹的所述运动候选目标，使用所述六分类分类器进行分类，只有当所述运动候选目标被判定为上述第⑤或者第⑥类时才认为该候选目标是噪声，否则认为是真实目标；而对于形成轨迹的所述运动候选目标，挑选其轨迹中的三个位置对应的包含所述运动候选目标的图像，分别使用所述六分类分类器进行分类，判定所述运动候选目标是否是真实目标，如果在这三个位置，所述运动候选目标都被判定为第⑤或者第⑥类，才认为所述运动候选目标是噪声，删除该轨迹，否则认为所述运动候选目标为真实运动目标； 步骤32，对于判定为真实运动目标的情况，如果在所述运动候选目标确认时的三次分类中，对所述运动候选目标是人还是机动车的判定存在分歧，则对所述运动候选目标使用人/机动车的分类器对其进行类型判定。 其中，在步骤4中，在确认后的所述目标轨迹中，挑选面积最大的一个位置，使将所述位置对应的图像贴合在一幅快照上，多个所述运动候选目标贴合组成一张快照，使用所述快照展示本文档来自技高网...

【技术保护点】
一种基于深度学习技术的视频摘要生成方法，包括以下步骤：步骤1，对输入的原始视频的图像序列进行背景建模，提取运动目标对应的前景区域；步骤2，将获得的所述前景区域作为运动候选目标，使用多目标跟踪技术对所述运动候选目标进行跟踪，计算每一帧中所述运动候选目标的运动轨迹；步骤3，对确定所述运动轨迹为活跃轨迹的运动候选目标使用基于深度学习技术的目标分类器进行进一步确认，判定所述运动候选目标是否是真实的目标，以及确认目标后，再使用分类器判断所述运动候选目标的类别；步骤4，将多个检测到的所述运动目标贴合在同一幅图像中，生成视频快照，以所述视频快照展示视频中检测到的所述运动目标。

【技术特征摘要】
1.一种基于深度学习技术的视频摘要生成方法，包括以下步骤: 步骤1，对输入的原始视频的图像序列进行背景建模，提取运动目标对应的前景区域； 步骤2，将获得的所述前景区域作为运动候选目标，使用多目标跟踪技术对所述运动候选目标进行跟踪，计算每一帧中所述运动候选目标的运动轨迹； 步骤3，对确定所述运动轨迹为活跃轨迹的运动候选目标使用基于深度学习技术的目标分类器进行进一步确认，判定所述运动候选目标是否是真实的目标，以及确认目标后，再使用分类器判断所述运动候选目标的类别； 步骤4，将多个检测到的所述运动目标贴合在同一幅图像中，生成视频快照，以所述视频快照展示视频中检测到的所述运动目标。2.如权利要求1所述的基于深度学习技术的视频摘要生成方法，其中在步骤I中对输入的原始视频的图像序列进行背景建模的步骤之前还包括将输入的所述原始视频的图像序列缩放至相同大小的步骤。3.如权利要求1所述的基于深度学习技术的视频摘要生成方法，其中在步骤I所述提取运动目标对应的前景区域的步骤中还包括对获得的所述运动前景进行后处理的步骤，具体包括: 步骤11，用形态学结构元素，对所述前景区域进行形态学开运算和形态学闭运算，获得轮廓光滑的前景区域，并且消除面积较小的噪声块； 步骤12，对所述前景区域进行面积计算，若所述前景区域像素点数目小于T1 = 5时，则滤除所述前景区域，否则，保留所述前景区域，确定所述前景区域是候选目标。4.如权利要求1所述的基于深度学习技术的视频摘要生成方法，其中在步骤2中所述的多目标跟踪技术是基于匈牙利算法构建的，具体包括: 步骤21，计算当前帧的所述运动候选目标的颜色直方图特征，以及所述颜色直方图特征与上一帧中运动候选目标的相似性； 步骤22，利用卡尔曼滤波预测上一帧中的所述运动候选目标在当前帧的位置信息，计算所述运动候选目标的预测位置与当前帧所述运动候选目标位置之间的欧氏距离； 步骤23，根据上述计算结果，使用匈牙利算法，对当前帧中的所述运动候选目标与上一帧中所述运动候选目标的轨迹进行匹配，获得匹配结果，并根据所述匹配结果更新所述运动候选目标的轨迹。5.如权利要求1所述的基于深度学习技术的视频摘要生成方法，其中在步骤3中所述的目标分类器是预先使用深度学习技术中的卷积神经网络进行离线训练得到的，用于判定所述运动候选目标是否是真实目标，...

【专利技术属性】
技术研发人员：袁飞，唐矗，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11