【技术实现步骤摘要】
本专利技术属于计算机视觉领域，尤其是涉及一种自然场景视频识别方法。
技术介绍
人体行为识别是人体运动分析的重要研究方向，属于计算机视觉的高层应用，广泛应用于智能监控系统、高级人机交互、基于内容的视频检索与运动分析等方面。当前人体行为识别的研究兴趣已经从拍摄环境良好控制下的简单行为识别转移到故事性电影、体育广播录像和家庭录像等无约束环境(也称为“自然环境”)下更为现实的行为识别。这种环境下的行为识别是具有挑战性的，原因在于由摄像头移动、背景杂斑、以及光照条件、尺度、视角的改变而引起的巨大变化，而主要难点在于如何从这种不受约束的视频中提取可靠的、富含信息量的特征。Liu等人针对无约束视频的特点，首先从视频中同时提取局部动作和静态特征，再采用统计学方法获得稳定的动作特征和不含噪声的静态特征，然后采用PageRank从特征空间中选择最具信息量的静态特征，接着采用信息论算法对语义相关的特征进行分组，最后，选择AdaBoost方法综合所有类型不同却包含互补信息的特征；Laptev等人研究的是故事性电影中的现实人体行为识别。从电影剧本中收集包含待识别动作的录像片段，构成一个复杂的行为数据集，并提出了基于局部时空特征、时空金字塔模型和多通道非线性SVM的运动表示和行为分类算法；Sun等人提出以分级的方式对时空上下文信息进行建模。将时空上下文抽象为三个级别：图像特征点上下文(SIFT描述符)、轨迹内上下文(轨迹状态转移描述符)、轨迹间上下文(轨迹邻近度描述符)；Kovashka等人针对现有BOW模型在表达特征时空关系上的缺陷，提出一种基于时空特征邻域形状的运动表示方法。目...
【技术保护点】
一种自然场景视频识别方法，其特征在于，包括以下步骤：A：生成特征点轨迹描述符：通过特征点跟踪产生候选的特征点轨迹，然后采用基于轨迹相异度度量和ROI检测的轨迹剪除方法，去除由特征点误匹配或者背景变化而产生的轨迹，最后针对剪除后的可靠轨迹计算和提取一系列对尺度、平移、旋转等具有不变性的轨迹描述符；B：生成局部时空描述符：采用基于帧间差分法结合多方向Gabor滤波的方法，对视频序列进行时空兴趣点检测，再通过视频立方块提取和主成分分析特征降维方法，对兴趣点提取局部时空描述符；C：词袋模型表示视频序列：采用传统的词袋模型表示方法，将视频序列表示为视觉词语直方图；D：预测摄像头的状态：采用简化的光流法对视频片段中的所有帧计算整体光流，从而预测摄像头的状态；E：选择适应特征融合：根据预测的结果，对基于轨迹的描述符和基于时空兴趣点的描述符这两者进行选择性地融合。
【技术特征摘要】
1.一种自然场景视频识别方法，其特征在于，包括以下步骤：A：生成特征点轨迹描述符：通过特征点跟踪产生候选的特征点轨迹，然后采用基于轨迹相异度度量和ROI检测的轨迹剪除方法，去除由特征点误匹配或者背景变化而产生的轨迹，最后针对剪除后的可靠轨迹计算和提取一系列对尺度、平移、旋转等具有不变性的轨迹描述符；B：生成局部时空描述符：采用基于帧间差分法结合多方向Gabor滤波的方法，对视频序列进行时空兴趣点检测，再通过视频立方块提取和主成分分析特征降维方法，对兴趣点提取局部时空描述符；C：词袋模型表示视频序列：采用传统的词袋模型表示方法，将视频序列表示为视觉词语直方图；D：预测摄像头的状态：采用简化的光流法对视频片段中的所有帧计算整体光流，从而预测摄像头的状态；E：选择适应特征融合：根据预测的结果，对基于轨迹的描述符和基于时空兴趣点的描述符这两者进行选择性地融合。2.根据权利要求1所述的自然场景视频识别方法，其特征在于，在步骤A中，轨迹相异度度量的轨迹剪除方法步骤如下：A1：假设存在N条以帧f为起点的轨迹：T＝﹛ti﹜，i＝1,…,N，对每条轨迹，定义一个时间窗为5帧的轨迹段以及相邻帧位移向量其中A2：两个轨迹位移向量di和dj的相异度计算为一个N×N的矩阵C，公式如下：A3：轨迹的相异度计算为这个值度量了长度为5帧的时间窗内，该轨迹与所有其他以帧f为起点的轨迹之间的相异度；A4：对帧f，计算一个自适应阈值其中γ为常量，取值为1.3；然后移除所有相异度小于的轨迹。3.根据权利要求1所述的自然场景视频识别方法，其特征在于，在步骤A中，ROI检测的轨迹剪除方法步骤如下：在轨迹相异度度量的条件约束下，假设帧f中剩下Nf条可靠的 轨迹，则可以通过对可靠轨迹上所有特征点的空间坐标求均值，获得ROI的中心： 该尺寸则由以下式子给出：其中cxx和cyy分别是特征点空间...
【专利技术属性】
技术研发人员：衣杨，关山，周晓聪，龙东阳，陈弟虎，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。