一种基于摄像机网络的多目标定位方法技术

本发明专利技术公开了一种基于摄像机网络的多目标定位方法，属于多媒体传感网技术领域，包括以下步骤：首先，在初始化阶段，通过构建重叠摄像机组、摄像机单应性转换计算、摄像机重叠视域计算、摄像机映射模型计算四个步骤，完成摄像机网络的初始化；其次，在目标定位阶段，完成单个摄像机中的目标检测和跟踪，并通过综合利用摄像机间的拓扑关系、几何约束和目标特征信息实现目标匹配；最后，利用摄像机模型计算目标物理位置实现多目标定位。本发明专利技术基于摄像机网络的多目标定位方法能实现多目标的稳定跟踪，具有实现成本低、定位精度高、运行稳定等特点。在战场侦查、安全监控、周界防护等领域具有广阔的应用前景。

【技术实现步骤摘要】
一种基于摄像机网络的多目标定位方法
本专利技术涉及的是一种目标定位
的方法，特别是一种基于摄像机网络的多目标定位方法。
技术介绍
基于传感器网络的目标定位技术在军事国防、城市管理、环境监测、抢险救灾、防恐反恐等诸多领域有着重要应用。然而，随着监测环境的日趋复杂多变，传统基于标量数据采集处理的传感器网络已不能满足环境全面感知和理解的应用需求，迫切需要将信息量丰富的图像、视频等媒体引入到以无线传感器网络为基础的环境监测活动中来，实现全面的环境监测和精准的目标定位。目前，基于摄像机网络的目标定位技术研究日益得到重视，并取得了阶段性成果。根据场景中目标的数目不同，已有研究可分为单目标定位和多目标定位。相对于单目标定位，多目标定位研究更具挑战，同时也具有更广泛的应用价值。目前，多目标定位方法研究可以概括为三类：基于特征匹配、基于几何约束、基于拓扑关系。(1)基于特征匹配的方法。该类方法利用多摄像机之间目标区域的颜色特征、外形特征、运动特征等进行一致性匹配。明安龙等以SIFT特征点表示目标，进行多摄像机目标匹配(文献1.明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配，计算机学报，2008，31(4)：650-661.)，但该方法对摄像机的观测角度有一定的限制，图像分辨率不高，或者非刚性目标都可能导致匹配的特征点难以寻找。另外，由于颜色特征、外形特征、运动特征等信息随着场景光照、位置、摄像机视角的不同而变化，使用这些特征信息进行目标一致性匹配并不是很稳定。(2)基于几何约束的方法。该类方法利用摄像机的标定信息和三维环境坐标信息，建立多个摄像机监控场景之间的空间映射关系，实现跨摄像机的目标匹配。BlackJ.等人采用基于单应性约束提出了转换误差来实现不同视场中质心之间的对应(文献2.BlackJ.,EllisT.,Multi-cameraImageTracking.ImageandVisionComputing,24(11),2006:1256-1267)，但该方法适用于具有重叠区域的多摄像机之间的目标匹配。另外，由于摄像机标定复杂，特征点检测精度低，使得该类方法在大多数实际场景中难以满足。(3)基于拓扑关系的方法。该类方法利用摄像机之间的目标出入位置、事件连接和转移时间等拓扑关系实现多目标的匹配和定位。Javed等人设计了一种基于Parzen窗和高斯核的混合概率密度估计器(文献3.JavedO,ShafiqueK,RasheedZ,etal.ModelingInter-cameraSpace-timeandAppearanceRelationshipsforTrackingAcrossNon-overlappingViews.ComputerVisionandImageUnderstanding,109(2),2008:146-162.)，来估计由时间间隔、速度和进出观测视域的位置等组成的概率密度函数，估计过程是通过有监督学习方法实现。拓扑关系估计方法难以适应摄像机网络的动态变化，且仅适用于摄像机无重叠视域情况下。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于摄像机网络的多目标定位方法，从而实现多目标的连续稳定定位。为了解决上述技术问题，本专利技术公开了基于摄像机网络的多目标定位方法，包括以下步骤：步骤1，构建摄像机临近关系表：对摄像机网络中的第i个摄像机Ci，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机Ci存在视域重叠的摄像机，构成摄像机Ci的视域重叠摄像机组Ni。其中，i＝1,...,M，M为摄像机网络中摄像机的总数目；Ni＝{Cj,...,Ck}，Cj，Ck分别表示与摄像机Ci存在视域重叠的摄像机j和摄像机k；步骤2，摄像机转换关系计算：对于与Ci存在重叠视域的摄像机Cd，Cd∈Ni，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法，建立Ci与Cd之间的单应性转换关系Ri→d；步骤3，摄像机重叠视域计算：对于与Ci存在重叠视域的摄像机Cd，Cd∈Ni，根据单应性转换约束机制，计算摄像机Ci与摄像机Cd的重叠视域；步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机Ci的映射关系模型；步骤5，采集图像：对于摄像机Ci采集的视频Videoi，获取Videoi的首帧图像步骤6，目标检测：采用混合高斯模型背景建模方法检测图像中的运动目标；步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪；步骤8，目标识别：判断摄像机中的目标是否为已匹配目标；如果是未匹配目标，执行步骤9；否则，执行步骤10；步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配；步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标；利用摄像机映射关系模型，计算目标的物理坐标；步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；步骤12，读取视频的下一帧。步骤4基于特征点识别的摄像机映射关系建模方法的步骤为：(4-1)对于摄像机网络中的摄像机Ci，选择其采集的视频Videoi中的首帧图像采用SIFT算法(文献1.明安龙，马华东，多摄像机之间基于区域SIFT描述子的目标匹配，计算机学报，31(4)，2008：651-661.)检测中的尺度空间极值点，并通过拟和三维二次函数精确定位极值点，获得每个极值点的图像坐标，其中，i＝1,...,M；(4-2)从以上极值点中选择不在一条直线上的4个点p1，p2，p3，p4作为图像特征点，其图像坐标分别为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)；(4-3)根据图像特征点坐标，在物理平面图中标定其对应的物理点P1，P2，P3，P4，其三维坐标为(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)，(X4,Y4,Z4)，X,Y,Z分别为三维坐标系x轴、y轴、z轴上的坐标；(4-4)利用图像坐标(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)和对应的物理坐标(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)，(X4,Y4,Z4)，基于摄像机透视投影模型(文献4：唐丽玉，王熠中等，视频图像中监控目标的空间定位方法，福州大学学报，42(1)，2014：55-61.)，建立图像坐标到物理坐标的映射关系模型；(4-5)对摄像机网络中的每个摄像机Ci都执行(4-1)～(4-4)，得到映射关系模型，i＝1,...,M，完成M个摄像机的映射关系建模；步骤7中基于序列粒子群优化的目标跟踪方法的步骤为：(7-1)跟踪初始化：对于摄像机Ci获取的视频Videoi，计算其首帧图像中运动目标的外接矩形其中，为外接矩形左上顶点的坐标，为外接矩形右下顶点的坐标，在区间[-Vmax,Vmax]范围内，随机初始化目标的运动速度表示x方向速度，表示y方向速度，其中，Vmax为目标最大运动速度，Vmax取值范围通常为5～20个像素点；(7-2)生成粒子种群：对于视频Videoi的第t帧图像中运动目标的外接矩形预测生成粒子种群，包含以下步骤：(7-2-1)以矩形的左上顶点为期本文档来自技高网...

【技术保护点】
一种基于摄像机网络的多目标定位方法，其特征在于，包括以下步骤：步骤1，构建重叠摄像机组：对摄像机网络中的第i个摄像机Ci，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机Ci存在视域重叠的摄像机，构成摄像机Ci的视域重叠摄像机组Ni，其中，i＝1,...,M，M为摄像机网络中摄像机的总数目，Ni＝{Cj,...,Ck}，Cj和Ck分别表示与摄像机Ci存在视域重叠的第j个摄像机Cj和第k个摄像机Ck；步骤2，摄像机单应性转换计算：对于与摄像机Ci存在重叠视域的摄像机Cd，Cd∈Ni，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法，建立Ci与Cd之间的单应性转换关系Ri→d；步骤3，摄像机重叠视域计算：对于摄像机Cd，根据单应性转换约束机制，计算摄像机Ci与摄像机Cd的重叠视域；步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机Ci的映射关系模型；步骤5，采集图像：对于摄像机Ci采集的视频Videoi，获取Videoi的首帧图像步骤6，目标检测：采用混合高斯模型背景建模方法检测图像中的运动目标；步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪；步骤8，目标识别：判断摄像机中的目标是否为已匹配目标，如果是未匹配目标，执行步骤9，否则，执行步骤10；步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配；步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标，利用摄像机映射关系模型计算目标的物理坐标；步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；步骤12，读取视频的下一帧。...

【技术特征摘要】
1.一种基于摄像机网络的多目标定位方法，其特征在于，包括以下步骤：步骤1，构建重叠摄像机组：对摄像机网络中的第i个摄像机Ci，采用SIFT特征匹配重叠视域检测方法，计算得到所有与摄像机Ci存在视域重叠的摄像机，构成摄像机Ci的视域重叠摄像机组Ni，其中，i＝1,...,M，M为摄像机网络中摄像机的总数目，Ni＝{Cj,...,Ck}，Cj和Ck分别表示与摄像机Ci存在视域重叠的第j个摄像机Cj和第k个摄像机Ck；步骤2，摄像机单应性转换计算：对于与摄像机Ci存在重叠视域的摄像机Cd，Cd∈Ni，利用地平面单应性约束，采用基于SIFT特征点的转换关系计算方法，建立Ci与Cd之间的单应性转换关系Ri→d；步骤3，摄像机重叠视域计算：对于摄像机Cd，根据单应性转换约束机制，计算摄像机Ci与摄像机Cd的重叠视域；步骤4，摄像机映射模型计算：采用基于特征点识别的摄像机映射关系建模方法，建立摄像机Ci的映射关系模型；步骤5，采集图像：对于摄像机Ci采集的视频Videoi，获取Videoi的首帧图像；步骤6，目标检测：采用混合高斯模型背景建模方法检测图像中的运动目标；步骤7，目标跟踪：采用基于序列粒子群优化的目标跟踪方法实现视频中的目标跟踪；步骤8，目标识别：判断摄像机中的目标是否为已匹配目标，如果是未匹配目标，执行步骤9，否则，执行步骤10；步骤9，目标匹配：采用摄像机网络中的多目标匹配方法，实现目标匹配；步骤10，目标定位：利用目标跟踪结果计算目标的图像坐标，利用摄像机映射关系模型计算目标的物理坐标；步骤11，轨迹拟合：采用卡尔曼滤波轨迹拟合方法对目标的物理坐标进行拟合，得到目标定位结果，并在二维物理平面图上完成目标轨迹标绘；步骤12，读取视频的下一帧；步骤4基于特征点识别的摄像机映射关系建模方法的步骤为：(4-1)对于摄像机网络中的摄像机Ci，选择其采集的视频Videoi中的首帧图像，采用SIFT算法检测首帧图像中的尺度空间极值点，并通过拟和三维二次函数定位极值点，获得每个极值点的图像坐标，其中，i＝1,...,M；(4-2)从以上极值点中任意选择不在一条直线上的4个点p1，p2，p3，p4作为图像特征点，其图像坐标分别为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)；(4-3)根据图像特征点坐标，在物理平面图中标定其对应的物理点P1，P2，P3，P4，其三维坐标为(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)，(X4,Y4,Z4)；X,Y,Z分别为三维坐标系x轴、y轴、z轴上的坐标；(4-4)利用图像坐标(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)和对应的物理坐标(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)，(X4,Y4,Z4)，基于摄像机透视投影模型建立图像坐标到物理坐标的映射关系模型；(4-5)对摄像机网络中的每个摄像机Ci都执行(4-1)～(4-4)，得到映射关系模型，完成M个摄像机的映射关系建模；步骤7中基于序列粒子群优化的目标跟踪方法的步骤为：(7-1)跟踪初始化：对于摄像机Ci获取的视频Videoi，计算其首帧图像中运动目标的外接矩形其中，为外接矩形左上顶点的坐标，为外接矩形右下顶点的坐标，在区间[-Vmax,Vmax]范围内，随机初始化目标的运动速度表示x方向速度，表示y方向速度，其中，Vmax为目标最大运动速度，Vmax取值范围为5～20个像素点；(7-2)生成粒子种群：对于视频Videoi的第t帧图像中运动目标的外接矩形预测生成粒子种群，包含以下步骤：(7-2-1)以矩形的左上顶点为期望，以Σ为协方差，生成P个左上顶点位置满足正态分布面积与面积一样的矩形，构成初始种群其中，N()为正态分...

【专利技术属性】
技术研发人员：李毅，吴振锋，姜晓涛，刘兴川，贲伟，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32