一种单视角被遮挡的目标的跟踪和定位方法技术

本发明专利技术公开一种更清晰准确地获得去除遮挡的目标图像的单视角被遮挡的目标的跟踪和定位方法，包括步骤：（1）采用多个RGB-D相机配准；（2）对多个RGB-D相机得到的颜色和深度进行特征模型表示；（3）基于粒子滤波模型对步骤（2）的特征模型进行跟踪和定位。

【技术实现步骤摘要】
一种单视角被遮挡的目标的跟踪和定位方法
本专利技术属于目标跟踪和定位的
，具体地涉及一种单视角被遮挡的目标的跟踪和定位方法，单视角被遮挡的目标是指目标在一个视角中被遮挡而在另一个视角中是可见的。
技术介绍
人体跟踪是计算机视觉领域中重要的研究分支，它在智能监控、视频会议和人机交互等领域有广泛的应用。在目标跟踪领域，经常被用到的是卡尔曼滤波器(KF)和扩展卡尔曼滤波器(EKF)，前者用于线性系统，后者用于非线性系统。但是对于系统中出现非高斯分布的噪声时，上述两种滤波方法的性能就会下降，甚至会出现发散现象。这是由于视觉系统本身具有高度的非线性和非高斯性，因此对非线性、非高斯系统的相关理论和处理技术的研究有很大的实用意义，它已成为该领域中的研究发展的重要趋势。粒子滤波是近几十年兴起的一种非线性、非高斯系统的滤波方法，它对系统没有特别的属性要求，应用在目标的跟踪领域有很好的效果。在研究中粒子滤波存在着粒子退化、遮挡问题难处理等问题，因此，研究和设计基于粒子滤波的行人跟踪系统是非常有意义的。为了获得稳定的跟踪效果，需要解决一系列问题，包括目标检测和分割、特征表示和动态跟踪等。针对这些问题，研究人员提出很多人体跟踪的方法。传统的人体跟踪方法使用颜色信息作为特征来跟踪，如颜色直方图特征。这些方法大都基于单个摄像机的视频序列，由于无法得到目标3维空间信息，这些方法很难处理目标被遮挡和消除相似目标等问题。多个摄像机可以得到多视角的视频序列，它提供了更多的信息可用于跟踪。因此，研究人员提出很多基于重叠的多摄像机跟踪方法来解决被遮挡目标的跟踪。虽然多视方法可以通过不同的视角分割目标，但是要解决不同视角中相同目标的配准和计算目标空间位置还很困难。近年来随着TOF（TimeOfFlight，深度相机）和Kinect（微软的一款深度相机）等深度相机的出现，可以联合深度相机得到颜色和深度信息，来解决目标遮挡和其它问题。最近研究者尝试使用3维和深度相机解决更复杂的问题。例如，使用立体相机重构3维空间来进行人体跟踪。此外，一种融合目标外观和深度特征的方法被用于跟踪和定位。虽然使用立体相机后跟踪效果得到很大提升，但是它还没有完全解决遮挡问题，特别是目标被完全遮挡这种情况。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种更清晰准确地获得去除遮挡的目标图像的单视角被遮挡的目标的跟踪和定位方法。本专利技术的技术解决方案是：这种单视角被遮挡的目标的跟踪和定位方法，包括以下步骤：（1）采用多个RGB-D（可以同时采集图像信息和深度信息的相机）相机配准；（2）对多个RGB-D相机得到的颜色和深度进行特征模型表示；（3）基于粒子滤波模型对步骤（2）的特征模型进行跟踪和定位。由于目标被遮挡，只用一个相机很难完成目标被遮挡情况下的持续跟踪，为此本方法使用了多个RGB-D相机协同工作，因为当目标在一个相机中被遮挡的情况发生时，在另一个相机中此目标是可见的，所以可以根据此相机中得到的目标空间位置并结合两个相机间的空间变换关系，计算出目标在另一个相机坐标系下的位置，这样就实现了目标在被遮挡情况下的持续跟踪。具体实施方式这种单视角被遮挡的目标的跟踪和定位方法，包括以下步骤：（1）采用多个RGB-D相机配准；（2）对多个RGB-D相机得到的颜色和深度进行特征模型表示；（3）基于粒子滤波模型对步骤（2）的特征模型进行跟踪和定位。由于目标被遮挡，只用一个相机很难完成目标被遮挡情况下的持续跟踪，为此本方法使用了多个RGB-D相机协同工作，因为当目标在一个相机中被遮挡的情况发生时，在另一个相机中此目标是可见的，所以可以根据此相机中得到的目标空间位置并结合两个相机间的空间变换关系，计算出目标在另一个相机坐标系下的位置，这样就实现了目标在被遮挡情况下的持续跟踪。优选地，步骤（1）中相机变换模型为公式（1）：p1=R·p2+T(1)其中pl＝[xl，yl，z1]T，p2＝[x2，y2，z2]T，[x1,y1,z1]、[x2,y2,z2]分别表示空间中的一个点在第一、第二相机坐标系下的空间坐标，R是一个3×3旋转变换矩阵，T＝[x0，y0，z0]T是平移参数；根据RGB-D相机采集的深度数据，得到空间3维配准点对，表示为公式（2）P1＝{p1i＝[x1i，y1i，z1i]T|i＝1，，N}和P2＝{p2i＝[x2i，y2i，z2i]T|i=1，，N}(2)其中p1i和p2i为世界坐标系下的坐标值；通过公式（3）计算最优的变换参数(R*，T*)。优选地，步骤（2）中颜色特征模型是将原始图像从RGB转向HSV空间，然后在HSV空间中计算图像中包含目标的矩形区域的颜色直方图，颜色特征模型按公式（4）建立，H＝[h1，…，hi，…，hn]T(4)其中n表示直方图bin的数目，hi是统计的颜色落在第i个bin区域中的频度；将目标区域中的深度数据通过公式（5）二值化，1表示目标人体区域，0表示背景或其它物体，其中D(x，y)是点(x，y)对应的深度值，是目标的平均深度值，ε是实验中得到的阈值。优选地，在生成深度特征之前对目标区域下采样。优选地，步骤（3）包括以下分步骤：（3.1）对于RGB-D视频序列，通过公式（6）表示状态变量，St＝λ1(St-1-S0)+λ2(St-2-S0)+Gt(6)其中So表示初始状态，st是区域的尺度，λ1和λ2是预定权值，Gt是一个零均值的高斯随机过程向量；（3.2）在当前帧中匹配候选粒子和模板粒子，初始目标区域作为模板，根据相似性检测最优的粒子区域作为目标区域：首先单独计算颜色和深度特征与模板的相似性，然后定义融合相似性，颜色相似性通过公式（7）计算，其中HO为候选粒子HO，HT为模板粒子，λ是用于调整变化率的预设参数，它使得Mυ(，)∈[0，1]，结果的最大值表示候选区域与模板最相似；深度相似性通过公式（8）表示：DO表示候选粒子，DT表示模板，表示lo范式，是非0值的个数，^是AND按位操作，～是NOT按位操作；颜色和深度特征的融合相似性通过公式（9）计算：M(HDO，HDT)=Mυ(HO，HT)·Md(DO，DT)(9)HDO和HDT表示候选融合特征和模板融合特征，从而得到RGB-D视频序列中目标的位置；通过公式（10）得到多RGB-D视频序列中的粒子匹配：其中HDOl,HDT1和HDO2，HDT2分别表示第一相机和第二相机候选粒子和模板的融合特征，Pl和P2是分别是第一相机和第二相机观测粒子HDO1和HDO2中心的三维点坐标，R*，T*是从第二相机到第一相机的本文档来自技高网...

【技术保护点】
一种单视角被遮挡的目标的跟踪和定位方法，其特征在于，包括以下步骤：（1）采用多个RGB?D相机配准；（2）对多个RGB?D相机得到的颜色和深度进行特征模型表示；（3）基于粒子滤波模型对步骤（2）的特征模型进行跟踪和定位。

【技术特征摘要】
1.一种单视角被遮挡的目标的跟踪和定位方法，其特征在于，包括以下步骤：(1)采用多个RGB-D相机配准，实现不同相机间的变换；不同相机的变换模型为公式(1)：p1＝R·p2+T(1)其中p1＝[x1，y1，z1]T，p2＝[x2，y2，z2]T，[x1,y1,z1]、[x2,y2,z2]分别表示空间中的一个点在第一、第二相机坐标系下的空间坐标，R是一个3×3旋转变换矩阵，T＝[x0，y0，z0]T是平移参数；根据RGB-D相机采集的深度数据，得到空间3维配准点对，表示为公式(2)P1＝{p1i＝[x1i，y1i，z1i]T|i＝1，，N}和P2＝{p2i＝[x2i，y2i，z2i]T|i＝1，，N}(2)其中p1i和p2i为世界坐标系下的坐标值；通过公式(3)计算最优的变换参数(R*，T*)：（3）(2)对多个RGB-D相机得到的颜色和深度进行特征模型表示；颜色特征模型是将原始图像从RGB转向HSV空间，然后在HSV空间中计算图像中包含目标矩形区域的颜色直方图，颜色特征模型按公式(4)建立，H＝[h1，…，hi，…，hn]T(4)其中n表示直方图bin的数目，hi是统计的颜色落在第i个bin区域中的频度；深度特征将目标区域中的深度数据通过公式(5)二值化，1表示目标人体区域，0表示背景或其它物体，其中Dp(x,y)是点(x,y)对应的深度值，是目标区域的平均深度值，ε是实验中得到的阈值；(3)基于粒子滤波模型对步骤(2)的特征模型进行跟踪和定位。2.根据权利要求1所述的单视角被遮挡的目标的跟踪和定位方法，其特征在于，在生成深度特征之前对目标区域下采样。3.根据权利要求1或2所述的单视角被遮挡的目标的跟踪和定位方法，其特征在于，步骤(3)包括以下分步骤：(3.1)对于RGB-D视频序...

【专利技术属性】
技术研发人员：胡永利，孙艳丰，马俊，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：