本发明专利技术涉及视频处理、内容分析和检索。为用户提供一个精简但内容完整的视频提纲，本发明专利技术采取的技术方案是，跨摄像头视频摘要提取方法，包括下列步骤：(1)预处理：视频镜头分割、关键帧提取及显著性表示；(2)跨摄像头视频镜头网络构建和分析；(3)基于用户需求的跨摄像头视频摘要生成；本发明专利技术主要应用于视频处理、内容分析和检索。
【技术实现步骤摘要】
本专利技术涉及视频处理、内容分析和检索，具体讲涉及。
技术介绍
视频摘要技术可以有效去除不包含显著视频语义事件的视频片段并压缩用户感兴趣的视频片段，从而将长时的视频数据的主要内容用精简的视频片段进行表征，对于实现快速视频浏览、检索和降低存储需求具有重要意义。现有的视频摘要技术多是针对单目摄像头采集的视频内容进行自动分析。但是当面对带有重叠区域的多摄像头采集的海量视频时，仅仅将现有技术应用于各个独立摄像头采集视频进行视频摘要时忽略了各摄像头采集视频内容的时间和空间的关联特性以及内容的重复性，因此现有方法并不能有效去除多摄像头冗余视频内容。
技术实现思路
为克服现有技术的不足，并为用户提供一个精简但内容完整的视频提纲，本专利技术采取的技术方案是，，包括下列步骤(1)预处理视频镜头分割、关键帧提取及显著性表示利用图像的视觉特征和无监督聚类方法将各摄像头采集的视频分别进行镜头分割和关键帧提取；通过背景建模和运动区域提取衡量各镜头的运动强度，保留运动强度足够明显的镜头作为视频摘要的候选；提取视频关键帧的颜色、纹理和形状特征并构建数学模型来计算候选镜头各独立特征的重要性，最后采用线性方式融合多特征重要性，从而形成视频镜头显著性表示；(2)跨摄像头视频镜头网络构建和分析以跨摄像头视频镜头网络来表征所提取的各视频的候选镜头的时间和空间的关联，其中，每个节点Su及视频片段表示第i个摄像头采集的视频中的第j个镜头，各节点数值表示镜头显著性，节点间的连线表示二者相关联，并且关联强度由两镜头的相似性度量， 在上述视频镜头分割及显著性表示的基础上，得到所需构建网络的各节点及其重要性，跨摄像头视频镜头网络构建和分析的核心问题转化为相似镜头集团的发现，由如下两步骤实现1)节点间关联强度的计算计算并融合镜头间的两类相似性从而度量两个镜头的相似性a.时序关联性不同视频中时序相近的镜头更可能包含视觉相近的视频内容， 因而相似性越高；b.视觉相似性具有相近低层视觉描述的镜头相似度越高；2)跨摄像头视频镜头网络解耦采用自顶向下的网络集团分析法进行跨摄像头视频镜头网络分解；(3)基于用户需求的跨摄像头视频摘要生成视频摘要提取方法为对于包含η个镜头的镜头集团Cs，最终生成的视频摘要是否包含某个镜头由标记向量X = Ix1, K，XiK, XnI表示，其中Xi为1时表示该镜头被保留，Xi为0时表示该镜头被去除，定义上述多目标优化问题目标函数为本文档来自技高网...
【技术保护点】
１．一种跨摄像头视频摘要提取方法，其特征是，包括下列步骤：（１）预处理：视频镜头分割、关键帧提取及显著性表示：利用图像的视觉特征和无监督聚类方法将各摄像头采集的视频分别进行镜头分割和关键帧提取；通过背景建模和运动区域提取衡量各镜头的运动强度，保留运动强度足够明显的镜头作为视频摘要的候选；提取视频关键帧的颜色、纹理和形状特征并构建数学模型来计算候选镜头各独立特征的重要性，最后采用线性方式融合多特征重要性，从而形成视频镜头显著性表示；（２）跨摄像头视频镜头网络构建和分析：以跨摄像头视频镜头网络来表征所提取的各视频的候选镜头的时间和空间的关联，其中，每个节点Ｓｉｊ及视频片段表示第ｉ个摄像头采集的视频中的第ｊ个镜头，各节点数值表示镜头显著性，节点间的连线表示二者相关联，并且关联强度由两镜头的相似性度量，在上述视频镜头分割及显著性表示的基础上，得到所需构建网络的各节点及其重要性，跨摄像头视频镜头网络构建和分析的核心问题转化为相似镜头集团的发现，由如下两步骤实现：１）节点间关联强度的计算：计算并融合镜头间的两类相似性从而度量两个镜头的相似性：ａ．时序关联性：不同视频中时序相近的镜头更可能包含视觉相近的视频内容，因而相似性越高；ｂ．视觉相似性：具有相近低层视觉描述的镜头相似度越高；２）跨摄像头视频镜头网络解耦：采用自顶向下的网络集团分析法进行跨摄像头视频镜头网络分解；（３）基于用户需求的跨摄像头视频摘要生成：视频摘要提取方法为：对于包含ｎ个镜头的镜头集团Ｃｓ，最终生成的视频摘要是否包含某个镜头由标记向量ｘ＝｛ｘ１，Ｋ，ｘｉＫ，ｘｎ｝表示，其中ｘｉ为１时表示该镜头被保留，ｘｉ为０时表示该镜头被去除，定义上述多目标优化问题目标函数为：（ｍａｔｈ）??（ｍｒｏｗ）?（ｍｓｕｐ）?（ｍｉ）ｘ（／ｍｉ）?（ｍｏ）＊（／ｍｏ）?（／ｍｓｕｐ）?（ｍｏ）＝（／ｍｏ）?（ｍｕｎｄｅｒ）?（ｍｒｏｗ）?（ｍｉ）ａｒｇ（／ｍｉ）?（ｍｉ）ｍａｘ（／ｍｉ）?（／ｍｒｏｗ）?（ｍｉ）ｘ（／ｍｉ）?（／ｍｕｎｄｅｒ）?（ｍｏ）｛（／ｍｏ）?（ｍｓｕｂ）?（ｍｒｏｗ）?（ｍｏ）－（／ｍｏ）?（ｍｉ）＆ａｌｐｈａ；（／ｍｉ）?（／ｍｒｏｗ）?（ｍｎ）１（／ｍｎ）?（／ｍｓｕｂ）?（ｍｉ）ｇｎ（／ｍｉ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｓｕｂ）?（ｍｉ）ｆ（／ｍｉ）?（ｍｎ）１（／ｍｎ）?（／ｍｓｕｂ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｉ）ｘ（／ｍｉ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ）＋（／ｍｏ）?（ｍｓｕｂ）?（ｍｉ）＆ａｌｐｈａ；（／ｍｉ）?（ｍｎ）２（／ｍｎ）?（／ｍｓｕｂ）?（ｍｉ）ｇｎ（／ｍｉ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｓｕｂ）?（ｍｉ）ｆ（／ｍｉ）?（ｍｎ）２（／ｍｎ）?（／ｍｓｕｂ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｉ）ｘ（／ｍｉ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ）｝（／ｍｏ）?（／ｍｒｏｗ）?（／ｍａｔｈ）（ｍａｔｈ）??（ｍｒｏｗ）?（ｍｉ）ｓ（／ｍｉ）?（ｍｏ）．（／ｍｏ）?（ｍｉ）ｔ（／ｍｉ）?（ｍｏ）．（／ｍｏ）?（ｍｆｅｎｃｅｄｏｐｅｎ＝＇｛＇ｃｌｏｓｅ＝＇＇）?（ｍｔａｂｌｅ）?（ｍｔｒ）?（ｍｔｄ）?（ｍｉ）ｆ（／ｍｉ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｉ）ｘ（／ｍｉ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ）＆ｌｅ；（／ｍｏ）?（ｍｓｕｂ）?（ｍｉ）Ｆ（／ｍｉ）?（ｍｉ）ｍａｘ（／ｍｉ）?（／ｍｓｕｂ）?（／ｍｔｄ）?（／ｍｔｒ）?（ｍｔｒ）?（ｍｔｄ）?（ｍｉ）ｓ（／ｍｉ）?（ｍｒｏｗ）?（ｍｏ）（（／ｍｏ）?（ｍｉ）ｘ（／ｍｉ）?（ｍｏ））（／ｍｏ）?（／ｍｒｏｗ）?（ｍｏ）＆ＧｒｅａｔｅｒＥｑｕａｌ；（／ｍｏ）?（ｍｓｕｂ）?（ｍｉ）Ｓ（／ｍｉ）?（ｍｉ）ｍｉｎ（／ｍｉ）?（／ｍｓｕｂ）?（／ｍｔｄ）?（／ｍｔｒ）?（／ｍｔａｂｌｅ）?（／ｍｆｅｎｃｅｄ）?（／ｍｒｏｗ）?（／ｍａｔｈ）其中：表示摘要总长，Ｆｉ表示镜头ｉ对应帧数；表示视频内容显著度，Ｓｉ表示镜头ｉ显著性；Ｆｍａｘ和Ｓｍｉｎ分别表示视频摘要生成时限定的最大长度和最小显著性；ｎ（ｇ）表示归一化操作，本专利技术不失一般性的采用向量线性归一化；系数αｉ用于满足不同需求的动态摘要生成，由用户自由指定，上述多目标优化问题为典型的整数规划问题，采用整数规划算法求解。...
【技术特征摘要】
1. 一种跨摄像头视频摘要提取方法，其特征是，包括下列步骤(1)预处理视频镜头分割、关键帧提取及显著性表示利用图像的视觉特征和无监督聚类方法将各摄像头采集的视频分别进行镜头分割和关键帧提取；通过背景建模和运动区域提取衡量各镜头的运动强度，保留运动强度足够明显的镜头作为视频摘要的候选；提取视频关键帧的颜色、纹理和形状特征并构建数学模型来计算候选镜头各独立特征的重要性，最后采用线性方式融合多特征重要性，从而形成视频镜头显著性表示；(2)跨摄像头视频镜头网络构建和分析以跨摄像头视频镜头网络来表征所提取的各视频的候选镜头的时间和空间的关联，其中，每个节点Su及视频片段表示第i个摄像头采集的视频中的第j个镜头，各节点数值表示镜头显著性，节点间的连线表示二者相关联，并且关联强度由两镜头的相似性度量，在上述视频镜头...
【专利技术属性】
技术研发人员：刘安安，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。