使用模糊一级支持向量机的自动视频摘要装置和方法制造方法及图纸

本发明专利技术公开了一种自动视频摘要设备和方法，其使用模糊ＯＣ－ＳＶＭ（一级支持向量机）算法。它反映用户的主观判断，以产生有效的视频摘要，并提供一种用于产生灵活的视频摘要信息的方法，该方法满足用户环境或用户要求。从给定的视频提取重要视频片段，并且从视频片段提取关键帧序列，由此，用户可以快速捕捉视频内容并访问期望的视频场景。（*该技术在2024年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频摘要技术。更具体地说，本专利技术涉及一种使用模糊一级支持向量机的自动视频摘要设备和方法。
技术介绍
由于大容量多媒体数据库的增长以及通信和数字介质处理技术的发展，提供了各种电影，因此已经实行了在删节视频的摘要信息基础上的检索服务以试图增加用户的方便性和满意度。然而，当前大部分视频由人工直接处理，通过分类和提取合适的场景或图片来删节。随着各类与视频有关的商业的繁荣，自动分析大量视频的要求也在增加，因此，已经在积极地倡导用于解决上述问题的各种研究。视频删节方法分为视频浏览、强调和视频摘要。视频浏览方案是一种连续连接不同部分并产生简短视频概要的方法，所述部分是从视频和音频数据中提取的具有重要意义的部分。强调方案是一种在预定事件的基础上从视频中分类有意义的部分并删节它们的方法。视频摘要是从视频中挑选出有意义的内容和结构信息。通常以关键帧(静像)序列表示视频摘要结果，并且视频删节的研究旨在产生视频摘要信息。由关键帧表示的视频摘要使用户一看就领会全部视频内容，并作为具有相应关键帧的场景或镜头(shot)的入口。因此，视频摘要任务也是选择最佳关键帧的任务或选择其中有最佳关键帧的片段的任务，而且视觉特征例如颜色和动作的视觉特征用作选择关键帧的重要因素。按照它的应用范围，视频摘要分为基于镜头的摘要和基于片段的摘要。基于镜头的摘要是一种展示短视频的方法，也就是具有若干关键帧的视频剪辑，而基于片段的摘要是一种删节全部长视频的技术。因为基于片段的删节技术的应用范围更广，所以近来更多的研究集中在基于片段的摘要。本公开专利技术同样针对基于片段的摘要。按片段删节分开的视频的方法包括(a)分析临时窗口中镜头间相关性、并将具有高相关性的镜头分为故事单元(或场景)的镜头分组方法和(b)分析通过传统聚类获得的聚类特征并选择重要聚类的方法。这些方法可以依据使用什么视觉特征或选择哪个镜头作为典型而进一步划分。上述方法共有的一个重要问题是典型的判断过于依赖阈值。也就是说，典型的镜头基于已建立的特定阈值来决定。例如，选择重要性大于阈值的镜头或重要性在前10％范围内的镜头。阈值由实验决定。严重依赖实验阈值的视频删节算法所导致的问题是视频删节系统可以很有效地应用到一些特定的视频，但它难以用于不同类型的视频。同样，该问题在处理不同种类视频信息的应用范围内可能是致命的缺陷，而通过实验设置最佳阈值的工作需要巨大的成本。基于人为判断和视觉特征的主观判断可作为选择视频摘要关键帧的重要因素。事实上当用户手动删节视频时，他可以创建视频摘要，该摘要通过引入主观判断打动人心。所以，需要对视频删节过程应用该主观判断，以产生有效的视频摘要。另外，必须产生考虑用户环境的可扩展视频摘要信息，以产生更有效的视频摘要。
技术实现思路
本专利技术的一个优点是提供一种产生视频摘要的技术，通过从给定视频中提取重要视频片段并从视频片段中提取关键帧序列使用户领会视频内容并访问期望的视频场景。本专利技术的一个方面，一种自动视频摘要器，包括输入单元，用来接收要概括的视频资源和用户期望的摘要时间；重要度测量模块，用来按照视频的种类特征和所期望摘要的目的产生重要度等级；和视频摘要生成模块，用来将镜头信息和重要度值用于特征支持向量算法，并产生视频摘要。特征支持向量算法是OC-SVM(一级支持向量机)算法，进一步是模糊OC-SVM算法。自动视频摘要器进一步包括镜头检测模块，用于为各个镜头提取视频资源。自动视频摘要器包括向屏幕输出所产生的视频摘要的输出单元；和存储所产生的视频摘要的存储单元。视频摘要生成模块包括特征支持向量模块，用来将镜头信息和重要度值用于特征支持向量算法，并产生视频摘要；和扩展处理模块，用于接收来自用户的摘要时间信息，重复地执行扩展过程，并产生用户期望的时间范围的视频摘要。镜头检测模块检测要概括的视频资源中的镜头，配置镜头列表，并将该镜头列表传送到视频摘要生成模块。本专利技术的另一个方面，一种自动视频摘要方法，包括(a)接收要概括的视频资源和用户期望的摘要时间；(b)为每个镜头提取视频资源；(c)按照视频的种类特征和所期望摘要的目的产生重要度等级；和(d)将镜头信息和重要度值应用到特征支持向量算法，并产生视频摘要。本专利技术的又一个方面，一种自动视频摘要方法，包括(a)接收要概括的视频资源和用户期望的摘要时间；(b)按照视频的种类特征和所期望摘要的目的产生重要度等级；(c)将镜头信息和重要度值应用到特征支持向量算法，并产生视频摘要；(d)向屏幕输出产生的视频摘要；和(e)存储所产生的视频摘要。本专利技术的另一个方面，一种存储自动视频摘要方法的程序的记录介质，该方法接收要提取摘要的视频资源和用户期望的摘要时间；为每个镜头提取视频资源；按照视频的种类特征和所期望摘要的目的产生重要度等级；以及将镜头信息和重要度值应用到特征支持向量算法，并产生视频摘要。当用户搜索网络文件时，搜索引擎提供网页的摘要信息，通过允许用户在没有访问所有搜索到的结果网站情况下猜测其内容，以减少信息查找时间。在一个与其类似的方式中，视频摘要的主要目的是允许用户在没有看到全部视频时了解其内容并使信息访问的效果最佳。当考虑视频信息的数量时，自动产生视频摘要的技术变得比文本摘要技术更重要。此外，用较少量的数据传送重要信息的视频摘要技术将被用作有限带宽的无线环境中的移动视频内容业的核心。附图说明结合附图(其组成本说明书的一部分)和描述来说明本专利技术的实施例并解释本专利技术的原理，其中图1示出使用根据本专利技术优选实施例的模糊OC-SVM的自动视频摘要器；图2示出使用根据本专利技术优选实施例的模糊OC-SVM的自动视频摘要器的操作流程图；图3示出应用于生成可扩展摘要信息的可扩展新颖性检测的示意图；和图4和图5示出电影和音乐视频的试验结果，说明按照重复抽取重要片段(相对于全部片段)增加的重要片段的比率和片段覆盖整个视频事件的比率。具体实施例方式本专利技术从将分析视频摘要作为新的检测问题的概念开始，脱离阈值依赖方法。也就是说，定义视觉特征不同于那些其它帧的帧作为给定视频的典型帧。OC-SVM(一级支持向量机)为新检测问题提供良好的执行性能。SVM源于基于统计学习理论的学习方法，当未标识新数据到达时，它使用标识数据允许机器学习并推导出正确的答案。SVM不同于传统的学习方法，它使结构风险最小化，使用一种在向量空间寻找最优决策边界区的方法，并在二元分类问题如模式识别中提供好的结果。在它们之中，OC-SVM基于SVM决策边界区目标定位在已标识正类的数据，即表示最好在正类和负类之间的对象的数据。例如，用户在文本或图像搜索的情况下对所有搜索到的数据中的很小部分感兴趣。在这种情况下重要的不是所有数据，而是一些正样本。OC-SVM并不预计给定数据的分配，但是预计最佳描述给定数据的优化支持向量。OC-SVM从大量视频帧中有效地检测具有独有特征的关键帧，因为它对于在一般特征向量空间中找到独有特征向量有用。然而，在通过OC-SVM获得期望的视频摘要中存在一些限制。由于OC-SVM 目标为应用视觉特征的支持向量，因此很难应用由用户决定的主观元素(例如，其中远景而不是近景可能被给予更重要意义的元素，而且其中最好生成排除了包括新闻节目主持人的片段的摘要信息的元素)，并且即使定义本文档来自技高网...

【技术保护点】
一种自动视频摘要器，包括：输入装置，用来接收要概括的视频资源和用户期望的摘要时间；重要度测量模块，用来按照视频的种类特征和所期望摘要的目的产生重要度等级；和视频摘要生成模块，用来将镜头信息和重要度值用于特征支持向量算法，并产生视频摘要。

【技术特征摘要】
【国外来华专利技术】KR 2003-6-27 10-2003-00426131.一种自动视频摘要器，包括输入装置，用来接收要概括的视频资源和用户期望的摘要时间；重要度测量模块，用来按照视频的种类特征和所期望摘要的目的产生重要度等级；和视频摘要生成模块，用来将镜头信息和重要度值用于特征支持向量算法，并产生视频摘要。2.如权利要求1所述的自动视频摘要器，其特征在于所述特征支持向量算法是OC-SVM(一级支持向量机)算法。3.如权利要求1所述的自动视频摘要器，其特征在于所述特征支持向量算法是模糊OC-SVM算法。4.如权利要求1所述的自动视频摘要器，进一步包括镜头检测模块，用于为各个镜头提取所述视频资源。5.如权利要求1到4其中之一所述的自动视频摘要器，包括输出单元，用于将产生的视频摘要输出到屏幕；和存储单元，用于存储产生的视频摘要。6.如权利要求5所述的自动视频摘要器，其特征在于所述视频摘要生成模块包括特征支持向量模块，用来将所述镜头信息和所述重要度值用于所述特征支持向量算法，并产生视频摘要；和扩展处理模块，用于接收来自用户的摘要时间信息，重复地执行扩展过程，并产生具有用户期望的时间范围的视频摘要。7.如权利要求6所述的自动视频摘要器，其特征在于所述镜头检测模块检测来自要概括的所述视频资源中的镜头，配置镜头列表，并将所述镜头列表传送到所述视频摘要生成模块。8.一种自动视频摘要方法，包括(a)接收要概括的视频资源和用户期望的摘要时间；(b)为每个镜头提取所述视频资源；(c)按照视频的种类特征和所要求摘要的目的产生重要度等级；和(d)将镜头信息和重要度值应用到特征支持向量算法，并产生视频摘要。...

【专利技术属性】
技术研发人员：崔瑛殖，李相沦，金宣廷，
申请(专利权)人：株式会社KT，
类型：发明
国别省市：KR[韩国]