本发明专利技术公开了一种摄像机运动不变的时空兴趣点特征检测方法。在视频内容理解与分析，尤其是视频人体动作识别任务中，时空兴趣点特征发挥着重要作用。当摄像机运动时，现有时空兴趣点特征检测方法，容易将背景运动误检测为时空兴趣点特征。为解决该问题，本发明专利技术提出：在视频中检测图像局部特征，并跟踪生成图像局部特征运动轨迹，然后，利用局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运动模式不一致的局部特征运动轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。与现有方法相比，本发明专利技术能够有效抑制摄像机运动干扰，降低摄像机运动情况下时空兴趣点特征的误检测率。
【技术实现步骤摘要】
本专利技术主要涉及数字视频内容理解与分析领域，尤其是视频中人体动作识别应用 领域，特指。
技术介绍
近年来，具有提取简单、抗干扰能力强、鲁棒性好等优点的时空兴趣点特征，在视 频内容理解与分析领域，尤其是视频人体动作识别任务中，发挥着重要的作用。现有的时空 兴趣点特征提取算法，如图1所示，通常检测视频时空域内显著性变化区域作为时空兴趣 点特征。在图1中，1为时空兴趣点特征，2为视频时空域，3为图像，图I (a)是3D Harris 算法检测视频时空域显著性变化区域作为时空兴趣点特征的示意图，图1(b)是在人行走 视频中的检测结果。在摄像机静止、或摄像机运动但背景平坦时，视频中的显著性变化区域 常由人体运动产生。此时，通过检测时空域显著性变化区域能够有效捕获人体运动相关信 息，用于人体动作识别等视频内容理解与分析任务中。但是，当摄像机运动、且背景非平坦 时，不仅人体运动区域内会形成显著性变化区域，在非平坦的背景区域也会因摄像机运动 而产生显著性变化，这些显著性变化区域也会被检测为时空兴趣点特征。显然，位于非平坦 背景区域内的时空兴趣点特征是无用的，因为它们并不包含在视频内容理解与分析中我们 所感兴趣的运动信息。另一方面，这也是有害的。因为，这些特征会严重影响视频内容理解 与分析的性能。因此，在检测时空兴趣点特征时，尤其在人体动作识别任务中，需要剔除这 些位于运动背景区域内的时空兴趣点。
技术实现思路
本专利技术要解决的技术问题在于：在视频内容理解与分析领域，尤其是人体动作识 别任务中，现有时空兴趣点特征提取算法，在摄像机运动且存在非平坦背景时，容易受非 平坦背景运动干扰产生大量误检测时空兴趣点特征，从而影响视频内容理解与分析的精 度。 为了解决这个问题，本专利技术提出一种摄像机运动不变的时空兴趣点特征检测方 法。以人体动作识别为例，通常情况下，在人体动作视频中，位于前景（相对于背景而言，通 常指运动目标，这里指运动人体）中的图像局部特征（本专利技术中称之为前景局部特征），和 位于背景中的图像局部特征（本专利技术中称之为背景局部特征），存在着明显的差异。前景局 部特征的运动轨迹不同于背景局部特征的运动轨迹。利用它们之间的这种差异，可以将与 人体运动相关的前景局部特征挑选出来作为时空兴趣点特征。通过这种方式提取时空兴趣 点特征，可以有效剔除位于运动背景区域内的错误的时空兴趣点特征，提高时空兴趣点特 征检测精度。 本专利技术提出的技术方案是：在视频中检测图像局部特征，并跟踪生成图像局部特 征运动轨迹，然后，利用图像局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运 动模式不一致的图像局部特征轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进 行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。 首先，参照图3,介绍本专利技术的基本原理。当摄像机运动时，在所获视频中，背景局 部特征14和前景局部特征13呈现出不同的运动规律。背景局部特征14的运动轨迹（本 专利技术中称之为背景局部特征轨迹11)由摄像机运动所决定，前景局部特征13的运动轨迹 (本专利技术中称之为前景局部特征轨迹12)由人体和摄像机两者的运动共同决定。在同一视 频中，所有背景局部特征的运动轨迹必然表现出某种共同属性，该属性与摄像机运动紧密 相关。相反，前景局部特征的运动轨迹则表现出某种与背景局部特征运动轨迹所不同的属 性，该属性则与人体自身运动紧密相关。利用它们的不同属性，可以将图像局部特征划分为 与人体动作相关的前景局部特征，和与人体动作无关的背景局部特征。这些与人体动作相 关的前景局部特征就是在人体动作识别任务中需要的时空兴趣点特征。 给定图像中的N个局部特征，通过跟踪得到其运动轨迹W = 。其中，第 i个局部特征的运动轨迹可以表示为：（该表达式表示Wi这一个向量 属于lx2F的实数空间，R表示实数，lx2F是该空间的维数），其中qfl= T(这个表 达式中下标f表示第f帧，下标i表示第i个点，T表示转置）是该局部特征在第f帧中的 图像坐标，其中F是总的帧数，u，v是图像坐标，图像坐标系统如图2所示，其中4是图像 中心，5是图像坐标系u轴，6是图像坐标系V轴。它们的轨迹可以组合成一个2FXN的矩 阵：(1) 根据计算机视觉理论和透视成像原理，当N个图像局部特征全部位于背景中时， 在透视投影下，W2fxn是一个秩为3的矩阵：rank (W2fxn) = 3 (rank表示秩）。也就是说，背景 局部特征轨迹张成一个维数为3的低维子空间，这里称之为背景运动子空间M e R2FX3。任 意一条背景局部特征轨迹W1可以通过背景运动子空间M进行线性表示：(1!) 其中，Hij是背景运动子空间M中第j列向量，a j是与Hi j相对应的线性表示系数。 当W2fxn中存在前景局部特征轨迹时，根据计算机视觉理论和透视成像原理，W 2fxn 的秩必大于3。那么，背景运动子空间M不能准确地对前景局部特征轨迹进行线性表示，因 此式⑵不成立：(3) CN 105160287 A VL 3/丫贝 4是化在M上的重构，免通过投影变换=Pwi得到，其中P是投影 变换矩阵，它由M经线性变换后得到： P = M(MtM)1Mt (4) 那么，界1在M上的重构误差为：偏 如果W1是背景局部特征轨迹，那么它可以由背景运动子空间M良好重构，得到较 小的重构误差e1;反之，如果w i是前景局部特征轨迹，则会产生较大重构误差e i。通过阈值 th，即可将背景、前景局部特征轨迹区分开：CB) 其中，L(W1)是轨迹&的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹。 因此，本专利技术利用摄像机运动时背景局部特征轨迹所张成的低维子空间M，对背 景、前景局部特征轨迹进行区分，可以检测出与人体运动相关的前景局部特征，并剔除无关 的、由摄像机运动引起的背景局部特征。从而实现，摄像机运动不变时空兴趣点特征检测。 本专利技术一种摄像机运动不变时空兴趣点特征检测方法，其具体的方法步骤是： (1)将待检测视频划分为若干视频段； (2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括 两部分信息：图像局部特征的空间极值尺度c、图像位置（u，v)。 (3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹； 获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨 迹。在本专利技术中，利用步骤⑵中图像局部特征的图像位置（u，v)作为输入，选用 KLT (Kanade-Lucas-Tomasi)特征跟踪算法，获取局部特动轨迹W = 。 (4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式； 背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间 M。该子空间通过随机搜索算法得到，具体实施步骤是：从局部特征轨迹W= 中，随机地选择3条运动轨迹Iwll, wl2, wl3}构建子空间，然后，以此子空间 S1计算投影矩阵P i，并重构所有运动轨迹计算重构误差r通过T次 循环，T 一般大于n/2,从S= 中，选择具有最小重构误差et的子空间、作为 背景运动低维子空间3 (5)利用步骤4中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确 定前景局部特征； 筛选本文档来自技高网...
【技术保护点】
一种摄像机运动不变的时空兴趣点特征检测方法，其特征在于：包括以下步骤：(1)将待检测视频划分为若干视频段；(2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、图像位置(u,v)；(3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹；获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨迹，这里利用步骤2中图像局部特征的图像位置(u,v)作为输入，选用KLT特征跟踪算法，获取局部特动轨迹W＝[w1,...,wn]；(4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式；背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间M；该子空间通过随机搜索算法得到；具体实施步骤是：从局部特征轨迹W＝[w1,...,wn]中，随机地选择3条运动轨迹{wi1,wi2,wi3}构建子空间然后，以此子空间si计算投影矩阵Pi，并重构所有运动轨迹计算重构误差通过T次循环，从S＝[s1,...,sT]中，选择具有最小重构误差et的子空间st作为背景运动低维子空间其中t^=arg mint(et);]]>(5)利用步骤4中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确定前景局部特征；筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式(6)，逐一检测图像局部特征轨迹W中的每一条轨迹wj，判断重构误差ej是否满足ej＞th；满足该条件的轨迹W，即为前景局部特征轨迹；L(wj)∈0ifej<th1else---(6)]]>其中，L(wj)是轨迹wj的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹；其中，ej是轨迹wj在背景运动低维子空间M上的重构误差，th是判断阈值；ej通过下式计算：ej＝||Pwj‑wj||2 (7)阈值t的确定方法是：统计所有运动轨迹W＝[w1,...,wn]在背景运动低维子空间M上的重构误差E＝[e1,...,en]，以E的均值me加k倍标准方差σe作为阈值，即设th＝me+kσe，k的大小取1‑3；(6)利用步骤4中的背景运动模式，对视频段内图像进行运动补偿后，对步骤5中提取的前景局部特征进行特征描述，提取摄像机运动不变时空兴趣点特征；根据第五步得到的背景运动轨迹，采用摄像机运动六参数模型估计相邻帧图像的摄像机运动矩阵H,进行背景运动补偿：Q＝Hq (8)其中，q是运动补偿前像素坐标，Q是运动补偿后像素坐标；摄像机运动补偿后，以前景局部特征的图像位置(u,v)定位时空兴趣点特征，以该轨迹中图像局部特征的空间极值尺度c定义特征描述空域区域大小，采用HOG/HOF特征描述子得到摄像机运动不变时空兴趣点特征。...
【技术特征摘要】
【专利技术属性】
技术研发人员：张政，王斌，赖世铭，熊志辉，王炜，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。