对图像中的对象进行定位的方法和系统技术方案

本发明专利技术涉及对图像中的对象进行定位的方法和系统。本发明专利技术描述了用于检测和跟踪图像序列中的对象的方法和系统。对于每个图像，本发明专利技术针对图像序列中当前图像内的跟踪区域确定对象描述符，其中所述跟踪区域对应于对象在前一图像中的位置。将回归函数应用于所述描述符以确定所述对象从所述前一图像到所述当前图像的运动，其中所述运动具有矩阵李群结构。使用所述对象的所述运动来更新所述跟踪区域的所述位置。

【技术实现步骤摘要】

本专利技术总体上涉及对图像序列中的对象进行跟踪，并且更具体地涉 及对非线性运动的对象的检测和跟踪。
技术介绍
跟踪是对图像序列中的对象的运动进行估计的过程。对象跟踪方法 通常要求首先在某个初始图像中检测到对象。然后，可以在随后的图像 中跟踪该对象。各种对象检测方法太多，而无法一一列举。跟踪方法可 以分为状态空间估计器方法或模型对准方法。状态空间估计器方法状态空间估计器方法典型地使用马尔可夫过程(Markovianprocess) 并构建运动参数的概率密度函数(pdf)。例如，卡尔曼滤波(Kalman filtering)使用正态分布。然而，卡尔曼滤波方法不能描述多峰 (multi-modal)分布。蒙特卡洛积分(Monte Carlo integration)方法(例如粒子滤波)可以 跟踪包括对象姿态的任意参数化变化。然而，特别是对于更高维表示， 依赖于随机采样的这些方法会使估计出的似然度退化(degenerate)。此夕卜， 这些方法的计算需求随状态变量的数量成指数增长，这使得这些方法不 适于跟踪复杂的姿态变化。模型对准(model alignment)方法模型对准方法基于对象模型和在图像中看到的对象之间的差异而定 义代价函数。通过最小化运动参数来求解该代价函数。 一个示例为光流 估计，其中对象模型和图像强度之间的差的平方和被最小化为迭代最小 平方问题。该方法的主要难点在于该方法要求对每次迭代计算图像梯度、 雅可比(Jacobian)矩阵和海赛(Hessian)矩阵，这使得该方法较慢。其他模型对准方法通过另选地列出运动和相关代价函数的关系式而 克服这一难点。在一些方法中，该运动通过使用离线过程中学习的图像 梯度的线性函数来估计。该想法被扩展到使用相关向量机来学习从图像 到运动的非线性映射。然而，这些方法通过线性化来估计对运动参数的加性(additive)更 新。因此，这些方法不能跟踪非线性运动。 运动估计的李群(Lie Group)理论对于使用均值偏移(mean shift)运算的刚体运动估计，李代数可以 被用来找到具有欧几里德(Euclidean)运动群结构的分布模式。己知当 运动较大时，均值偏移可能失败。向量加法运算定义在李代数上以对一 系列仿射运动进行积分，来跟踪仿射"蛇形"(affmesnake)。在李代数上执行加性更新来进行模板跟踪。然而，该方法未能解决 矩阵乘法的不可交换性，并且进行的估计仅在对象的初始变换附近有效。期望在对象非线性运动的同时跟踪图像序列中的对象。还期望检测 初始图像中的对象。此外，如果作为检测和跟踪的基础的方法可以相同 的话，将是有利的。
技术实现思路
本专利技术的实施方式提供了对图像序列中的对象进行检测和跟踪的方 法。在训练期间，确定回归函数/。该回归函数将对象描述符与对象运动 关联起来。在优选实施方式中，这些描述符是方位直方图(orientation histogram)。方位直方图对于像素强度(pixel intensity)变化相对不敏感， 而对于大的对象运动是精确的。对象运动具有矩阵李群结构。该运动包 括大多数常见的变换，例如欧几里德运动、相似性变换、仿射运动以及 平面单应性(planar homography)。因为这些运动不依赖于欧几里德空间，所以回归函数通过最小化误 差函数来确定底空间(underlying space)的几何形状。现有技术的方法将 运动线性化，这隐式地做出了欧几里德空间的假设。这对于非线性运动 来说是不确切的。因此，本专利技术使用矩阵李群结构来描述对象的运动。本专利技术在李代数上构建了对象运动的模型。该模型最小化了对测地线(geodesic)误差的平方和的一阶近似。本专利技术使用岭回归(ridge regression)来更新该对象模型，这使得甚至能够以少量的图像的训练集 也能够准确地进行对象运动的学习。本方法在计算上是高效的，并且实 时地工作。还能够在序列的初始目标图像中检测到对象。在已经检测到对象之 后，可以对该对象进行跟踪。本专利技术的实施方式使用相同的回归函数和 李代数结构来执行对象检测和对象跟踪。附图说明图1是根据本专利技术一个实施方式的对图像序列中的对象进行跟踪的 方法的流程图；图2是根据本专利技术一个实施方式的对象坐标下的对象和图像坐标下 的对象之间的双向变换的图；图3是具有根据本专利技术一个实施方式的利用方位直方图来表示跟踪 区域的框图；图4是根据本专利技术实施方式的用于训练回归函数的方法的框图； 图5包括根据本专利技术一个实施方式的训练集的图像； 图6是针对本专利技术一个实施方式的跟踪方法的伪代码的框图； 图7是使用图4的经过训练的回归函数来检测图像中的对象的方法 的流程图。具体实施方式 方法概述图1示出了根据本专利技术实施方式对图像序列/i 110中的运动对象115 进行跟踪的方法和系统100。图像序列110可由摄像机102获取。另选地， 图像序列110可以从持久性存储器或通信接口提供给方法100。不失一般 性，针对对象115的非线性运动来描述方法100。然而，该方法可以对具 有任何运动类型的对象进行跟踪。 方法100可以运行在连接到显示设备103的处理器或微处理器中， 显示设备103例如为本领域公知的电视机、投影仪、回放设备、摄像机 或计算机。显示设备可以用于由该系统的用户来观察对象的运动。计算 机通常包括由总线连接的一个或更多个处理单元和/或微控制器、存储器 以及输入/输出接口。存储器可以包括用于储存如下所述当前图像的易失 性存储器，例如RAM。处理器还可以访问储存有图像序列110的持久性 存储器(例如，诸如录像带和DVD的可移除储存介质)以及通信接口 (例 如，机顶盒、网络接口等)。应当理解，当实时地获取图像序列110时， 该方法也可以对对象进行跟踪。对我们方法的输入为图像序列。包括对象的初始图像可以被称为训 练图像。其中需要检测或跟踪对象的随后图像可以被称为目标图像。对 于对象检测，该序列可以限于训练图像和一个目标图像。对于图像序列 110中的每个当前(目标)图像120，我们在位置160处确定(200)对 象描述符130。位置160对应于先前处理过的图像中的对象115的位置。 如我们在下面描述的，对象的位置由跟踪区域限定，该跟踪区域围绕图 像坐标下的图像内的对象。接着，我们对对象描述符130应用(400)回归函数/ (140)。因为 该函数和描述符为矩阵，所以该应用基本上为矩阵乘法。回归函数的应 用的输出为运动AM(150)。运动AM(150)对应于对象115从前一图像到当 前图像120的运动。运动150被用来更新(170)跟踪区域在当前图像中的位置。然后， 经更新位置处的跟踪区域可以用于对图像序列110中下一 (当前)图像 内的对象进行跟踪。跟踪方法形式化(formalization)针对对象115的参数化(parametric)运动变换A(2)来描述本专利技术的 实施方式。参数化变换是应用于给定变量的参数的函数。这些变量包括 像素特征、区域特征、像素坐标以及区域坐标。例如，这些参数包括仿 射、投影运动变换以及可以由有限数量的参数表示的其他线性和非线性 运动变换、刚体和非刚体运动变换。还可以利用例如相似性变换《2)和 欧几里德运动S五(2)的其他运动本文档来自技高网...

【技术保护点】
一种对图像中的对象进行定位的方法，该方法包括以下步骤：　将参数化变换的集合应用于训练图像中的区域，以确定变换后的区域的集合，其中所述参数化变换的参数被映射到李代数，并且所述区域包括对象；　确定针对每个变换后的区域的对象描述符；　根据所述参数化变换的集合和所述对象描述符的集合来训练回归函数；　从目标图像确定所述对象描述符；以及　将所述回归函数应用于所述目标图像的所述对象描述符，以确定所述对象在所述目标图像中的位置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：法提赫M波里克利，恩杰尔C图泽尔，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]