对象行为建模方法技术

提供一种能够为比如人体之类的复杂对象有效地建模的对象行为建模方法。该对象行为建模方法包括步骤：（ａ）从视频序列中获取光流向量；（ｂ）使用该光流向量，获取多个视频帧的特征向量的概率分布；（ｃ）使用该特征向量的概率分布，进行状态建模；以及（ｄ）基于状态变换，表达视频序列中对象的行为。根据该建模方法，在视频索引和识别领域，不用分割对象就可以有效地对比如人类活动之类的复杂行为进行建模并识别。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及，具体地说，涉及一种有效分析诸如人类行为的复杂对象的行为的对象行为方法。本专利技术还涉及一种使用由建模的对象行为模型、识别视频序列中对象的行为或事件的对象行为识别方法。包括坐、走、起立或转圈的人类行为能够使用摄像机捕获并存储为数字视频。在获取该数字视频之后，可以分析该数字视频的内容。例如，使用基于训练数据的随机模型能够刻画数字视频的行为的时间和空间特征。这些模型能够用于匹配提供的用于模式识别的视频序列和数据库视频。在模式分析之后，即能够使用这些模式从语义上索引视频。同样，在该处理中，能够获得视频内容的语义归纳。传统的对象行为分析方法可以分为两类。在第一种分析方法中，将一个为分析行为而设计的装置附着在人体上并用于行为分析。在第二种分析方法中，将对象的几何特征或图像用于行为分析。但是，在第一种方法中，由于所述装置必须附着在人体上，所以该附着在人体上的装置限制了人的活动。同样，在第二种方法中，必需从视频中分割各单个对象。但是，在许多情况下，各单个对象不能从视频中精确分割。特别是，将第二种分析方法应用到比如不能方便地分割的人体的复杂对象是非常困难的。为了解决上述问题，本专利技术的一个目的是提供一种能够为比如人体的复杂对象建模的。本专利技术的另一个目的是提供一种使用通过建模的行为模型的、对象行为识别方法。为了实现本专利技术的上述目的，提供一种，包括下列步骤(a)从视频序列中获取光流向量；(b)使用该光流向量，获取多个视频帧的特征向量的概率分布；(c)使用该特征向量的概率分布，进行状态建模；以及(d)基于状态变换，表达视频序列中对象的行为。最好步骤(a)基于仿射运动估计。最好步骤(a)还包括子步骤(a-1)将输入视频帧分组为多个视频帧组，并将每一个视频帧组划分为独立状态；(a-2)为每一独立状态的视频帧组中的每一视频获取仿射运动参数；以及(a-3)从仿射运动参数中获取光流向量。最好步骤(a-2)包括以下步骤，当I表示强度、t表示时间、x表示像素位置(x，y)、V表示运动向量时，使给定视频中的、基于表达为It(x)＝It-1(x-V(x))的对象上的像素强度的差的平方和∑(It(x)-It-1(x-V(x)))2最小的参数确定为运动参数。最好，步骤(b)包括步骤按照下式计算概率分布P(Z|Ω)P(Z|Ω)=exp(-12(Z-m)T)Q-1(Z-m))(2π)N|Q|1/2]]>其中P＝(p1，p2，…pd)表示在每一像素位置(x，y)计算的运动向量，L表示在一个视频帧或感兴趣的区域中的像素数目，d表示维数，d×L维向量的特征向量Z为Z＝(p11，p21，...，pL1，p12，p22，...，pL2，p1d，p2d，...，pLd)T，m为特征向量Z的平均向量，Q为特征向量Z的协方差矩阵，并假定特征向量Z是从观测分类(observation class)Ω提供的。最好步骤(b)还包括步骤按照下式分解协方差矩阵QQ＝φ∧φT其中 等于Z-m，φ的列为协方差矩阵Q的正交特征值，A相应于对角特征值；以及按照下式计算概率分布P(Z|Ω)P(Z|Ω)=]]>其中M为主要元素的数量，yi为Y的第i个元素，αi为Q的第i个特征值，ρ为通过 获得的最优值，并假定特征向量Z是从观测分类Ω提供的。最好在步骤(c)中，视频序列中的对象行为基于状态变换使用隐含马尔可夫模型(HMM)表达。最好隐含马尔可夫模型(HMM)表达为λ＝{Ξ，А，В，∏}，其中N为可能状态的数量，Ξ满足Ξ＝{q1，q2，...qN}，A为隐含状态i和j之间的变换{aij}，B为相应于状态j的观测符号概率{bj(.)}，∏为初始状态分布，并且状态Ξ＝{q1，q2，...qN}，和初始状态分布∏是基于视频数据事先确定的。为了实现本专利技术的另一个目的，提供一种对象行为识别方法，包括步骤(a)通过运动估计获取视频帧的特征向量；(b)使用获取的特征向量确定每一帧所属的状态；以及(c)使用用于确定的状态的变换矩阵，确定使行为模型和从给定的行为模型字典中提供的视频帧之间的概率最大的行为模型，作为所识别的行为。通过以下借助附图对优选实施例的详细描述，本专利技术的上述目的和优点将变得更加清楚，其中附图说明图1为表示根据本专利技术的实施例的的主要步骤的流程图；图2A为表示在训练前一个行为的隐含马尔可夫模型(HMM)的示例图，其中一个人开始站起来，但是又返回坐下位置；图2B为表示在训练后一个行为的隐含马尔可夫模型(HMM)的示例图，其中一个人开始站起来，但是又返回坐下位置；和图3为表示根据本专利技术的实施例的对象行为识别方法的主要步骤的流程图。下面将参照附图详细描述本专利技术的实施例。本专利技术不仅限于下面的这些实施例，在本专利技术的构思和范围内可以对其进行多种改变。提供本专利技术的实施例仅用于向本领域的技术人员更加完整地解释本专利技术。图1为表示根据本专利技术的实施例的的主要步骤的流程图。由于所有类型的对象行为都可以阐释为经历不同类型的运动的变化的对象，所以最好将行为认为是关于该对象的运动分布。因此，在本专利技术中，基于运动分布对人的行为进行建模。在本专利技术中，使用基于模型的运动估计替代精确的运动估计。参照图1，在根据本专利技术的实施例的中，首先，在步骤102，将通过手动操纵的状态模型选择输入的视频帧分组为多个视频帧组，并将每一个分组的视频帧组划分为独立状态。在步骤104，通过仿射运动估计为每一独立状态的视频帧组中的每一视频获取仿射运动参数。这里，当I表示强度、t表示时间、x表示像素位置(x，y)、V表示运动向量时，运动估计基于对象上的像素强度，像素强度表示为下面的公式1It(x)＝It-1(x-V(x)) ……(1)也就是说，在给定区域中，将使差的平方和∑(It(x)-It-1(x-V(x)))2最小的参数估计为运动参数。在基于模型的运动估计中，如果对象的尺寸比摄像机和对象之间的距离小很多，则可以使用仿射模型近似对象的运动。如果使用局部窗口表示视频中的每一点，比如，用5×5的像素尺寸窗口，则可以使用仿射模型参数近似运动。仿射模型用公式2表达V(x，y)＝ψ(x，y)K ……(2)这里，(x，y)表示对象上任意一点的坐标，w(x，y)＝(u(x，y)，W(x，y))T为运动向量，K＝(k1，k2，k3，k4，k5，k6)为仿射模型参数， 。同时，应注意k1和k4相应于正交移动，而k2、k3、k5和k6相应于表面的变形。此时，如果忽略k2、k3、k5和k6，则运动向量V可以表达为V＝(k1，k4)T。该运动向量V＝(k1，k4)T是典型的光流向量。从而，在步骤106中，可以从仿射运动参数中获得光流向量。下面考虑在每一像素位置(x，y)上计算的运动向量P＝(p1，p2，…Pd)。比如，P可以为6维(6-D)的仿射运动参数或2-D的光流向量。当L表示在一个视频帧或感兴趣的区域中的像素数目，d表示维数时，仿射运动参数可以用下面的公式3表示Z＝(p11，p21，…，pL1，p12，p22，…，pL2，p1d，p2d，…，pLd)T……(3)即，由仿射运动向量或光流向量构成的特征向量Z可以表示为d×L维向量。使用该方法，在步骤108，从光流向量获得特征向量本文档来自技高网...

【技术保护点】
一种对象行为建模方法，包括下列步骤：（ａ）从视频序列中获取光流向量；（ｂ）使用该光流向量，获取多个视频帧的特征向量的概率分布；（ｃ）使用该特征向量的概率分布，进行状态建模；以及（ｄ）基于状态变换，表达视频序列中对象的行为。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：崔良林，刘允柱，班加洛尔S曼朱纳思，孙信鼎，陈清威，
申请(专利权)人：三星电子株式会社，加利福尼亚大学董事会，
类型：发明
国别省市：KR[韩国]