一种基于多摄像机的区域可疑目标跟踪与识别方法技术

本发明专利技术提出了一种基于多摄像机的区域可疑目标跟踪与识别方法，解决小区域范围内单一可疑目标的准确识别与跟踪的问题。首先在多摄像机中的一个摄像机里确认要跟踪的目标，然后对该目标进行特征提取，同时判断出目标的位置和大小，然后将目标的特征信息进行更新。其他摄像机也同步运行，实时对目标进行检测，一旦接受到第一个摄像机发出的触发消息，则相应触发目标识别单元来识别要跟踪的目标，并将其更新，接着利用检测器和跟踪器完成对可疑目标的鲁棒跟踪，从而实现了多摄像机下的区域可疑目标跟踪与识别。所述方法的目标跟踪不仅在单摄像机情况下具有良好的鲁棒性，在多摄像机目标识别与跟踪时仍能保证较高的准确性，因此具有较好的应用前景。

【技术实现步骤摘要】
一种基于多摄像机的区域可疑目标跟踪与识别方法
本专利技术属于目标跟踪领域，具体涉及一种基于多摄像机的区域可疑目标跟踪与识别方法。
技术介绍
视频跟踪是计算机视觉领域的一个基础研究课题，也是一个非常具有挑战性的研究方向。在当前的现实生活中，视频跟踪技术已经在各种领域内得到了广泛应用，其中包括视频监控、军事工程、交通管理、智能机器人和人机交互等，具有很高的学术研究和应用价值。目前大多数关于视频目标跟踪的研究是基于单摄像机完成的。但是基于单摄像机的视频跟踪系统存在很多无法解决的问题，其中包括目标遮挡、摄像机视野有限、不能进行全方位的跟踪等问题，而基于多摄像机的跟踪系统能够很好的克服这些问题。因此，基于多摄像机的目标跟踪已经成为研究热点。显然，基于多摄像机的目标跟踪技术无论是在学术研究领域，还是在工程应用中都具有非常重要的意义。目前已有的目标跟踪方法大多数仅用于解决单摄像机的目标跟踪，很少能够解决多个摄像机同时跟踪同一个目标的问题，因此无法做到很好的鲁棒性。如公开号为CN102881024A的中国专利公开了一种“基于TLD的视频目标跟踪方法”，该方法基于TLD框架只在单个摄像机跟踪时具有很好的鲁棒性。本专利提出了一种基于多摄像机的区域可疑目标跟踪与识别方法及框架思路，该方法能够解决小区域范围内单一可疑目标的准确识别与跟踪，并且所设计框架思路清晰，便于实现与扩展，方法简单准确，实时性和实用性强。该方法下的目标跟踪不仅在单摄像机情况下具有良好的鲁棒性，在多摄像机目标跟踪时仍能保证较高的准确性，因此具有较好的应用前景。
技术实现思路
本专利技术要解决的技术问题在于：克服现有技术不足，提出一种基于多摄像机的区域可疑目标跟踪与识别方法，解决小区域范围内单一可疑目标的准确识别与跟踪的问题。本专利技术解决其技术问题所采用的技术方案是：一种基于多摄像机的区域可疑目标跟踪与识别方法，包括如下步骤：在多摄像机中的一个摄像机里，将触发报警的可疑目标前景图提取出来，执行如下步骤：步骤A，在提取出的可疑目标前景图中，对该目标用外接矩形框在视频图像上进行表示，然后使用人机交互方式迅速确认所要跟踪的目标，并利用所选定目标的位置、大小及提取的特征信息，对检测器和跟踪器分别进行初始化，触发目标跟踪和目标检测，同时向其它摄像机的目标识别单元发出触发目标识别的消息；步骤B，跟踪器根据上一帧图像中目标的位置和大小信息，估计当前帧图像中目标的位置和大小；同时，使用检测器对当前帧图像进行检测，找出当前帧图像中所有可能的目标；步骤C，对跟踪器和检测器的处理结果进行融合，判断出当前帧图像是否存在目标以及目标的位置和大小：C-1，如果不存在目标，则返回步骤B开始对下一帧图像进行检测；C-2，如果存在目标，则将目标的位置、大小及相应的特征信息进行保存，并带入学习组件，通过学习组件完成对检测器的在线更新，此时被检测出的运动目标图像也要间隔进行保存，接着将训练过的检测器及目标图像传递给其它摄像机的目标识别单元，然后跳到步骤B，开始对下一帧图像的处理；对于其它摄像机，与前述拍摄到可疑目标的摄像机同步运行，具体执行以下步骤：步骤D，对运动目标进行检测：如果没有检测到目标，则继续执行检测，如果检测到目标，进入下一步骤；步骤E，判断是否接受到步骤A所述的触发目标识别的消息，如果没有，则跳转至步骤D，否则触发目标识别单元，进入下一步骤；步骤F，通过传递到本摄像机目标识别单元的目标图像，评估当前帧图像中所有分离出的运动目标图像，同时融合已训练过的检测器对当前帧图像中运动目标的处理结果，判断出当前帧图像是否存在要跟踪的目标：如果连续N帧图像都检测出目标，判定可疑目标在本摄像机出现，否则，则判定可疑目标没有出现，其中N为自然数；步骤G，如果可疑目标没有出现，则返回步骤F继续对下一帧图像分离出的目标进行识别；如果可疑目标出现，则根据步骤C-2，开始对下一帧图像进行处理。进一步的，本专利技术一种基于多摄像机的区域可疑目标跟踪与识别方法，所述步骤A中是采用背景差法进行目标前景图提取。进一步的，本专利技术一种基于多摄像机的区域可疑目标跟踪与识别方法，所述步骤B中跟踪器根据上一帧图像中目标的位置和大小信息，估计当前帧图像中目标的位置和大小的具体步骤如下：B1，根据目标在上一帧图像的位置和大小信息获得目标边界框，并在目标边界框内提取特征点；B2，通过光流法完成相邻两帧图像间目标边界框内特征点的匹配跟踪；当单特征点的累计位移偏差大于设定的阈值时则认为目标中对应的特征点跟踪错误，将其删掉，否则保留；B3，利用保留下来的特征点对当前帧图像的目标边界框进行评估，从而估计出当前帧图像中目标的位置和大小。进一步的，本专利技术一种基于多摄像机的区域可疑目标跟踪与识别方法，所述步骤B中使用检测器对当前帧图像进行检测，找出当前帧图像中所有可能的目标的具体步骤如下：a，计算当前帧图像中所有用于扫描的目标边界框的方差值，用所有扫描框的方差与目标框的方差进行比较，过滤掉所有比目标框的方差小于比例阀值的扫描框；b，定义M个基本分类器，对于所有未被过滤掉的扫描框都要进行n种尺度变换，每个基本分类器都会在变换后扫描框内的随机选取m处位置进行像素均值的比较，比较的结果会产生一个后验概率，计算M个基本分类器所有后验概率的平均值，如果平均值大于比例阀值，那么此时将扫描框归类为目标；M、n、m均为自然数；c，使用支持向量机SVM(SupportVectorMachine)对剩余的扫描框进行分类，如果扫描框被支持向量机SVM分为正类，那么该扫描框即被选为候选目标。进一步的，本专利技术一种基于多摄像机的区域可疑目标跟踪与识别方法，所述步骤C对跟踪器和检测器的处理结果进行融合，判断出当前帧图像是否存在目标以及目标的位置和大小的具体步骤如下：C1，若跟踪器和检测器没有跟踪到或者检测到目标信息，则认为当前帧图像中不存在目标或者目标已经丢失；C2，若跟踪器有跟踪结果，而检测器没有检测到目标，且跟踪到的目标的置信度大于某一阈值时，则将跟踪器的结果作为当前帧图像的目标；C3，若跟踪器没有跟踪到目标，而检测器检测到目标，且检测到的目标的置信度大于某一阈值时，则将检测器的结果作为当前帧图像的目标；C4，若跟踪器和检测器都检测到目标时，分为两种情况：一、如果跟踪器与检测器跟踪到的目标是完全重叠时，则认为该目标即为当前帧图像要跟踪的目标；二、如果跟踪器与检测器得到的目标是不完全重叠的，则计算检测器和跟踪器的置信度，如果检测器的置信度大于跟踪器的置信度且重叠面积小于一定阈值时，则将检测器的结果作为当前帧的目标，否则，将跟踪器的检测结果作为当前帧的目标。进一步的，本专利技术一种基于多摄像机的区域可疑目标跟踪与识别方法，所述步骤C-2中检测器在线更新的具体步骤如下：101，在学习组件中，如果检测器将步骤C中最后确定的目标判断为非目标，则将其改为目标，并将其添加训练集中进行更新；102，在学习组件中，如果检测器检测到有多个目标，包括要跟踪的目标，根据目标在每帧图像中只有一个的约束条件，则将步骤C中确定的目标之外的其它目标改为非目标，并添加训练集中进行更新；103，在学习组件中，如果目标识别单元已经识别出目标，则将其添加到训练集中进行更新；104，利用已经更新过的训练集来更新在线目标本文档来自技高网...

【技术保护点】
一种基于多摄像机的区域可疑目标跟踪与识别方法，其特征在于，在多摄像机中的一个摄像机里，将触发报警的可疑目标前景图提取出来，执行如下步骤：步骤A，在提取出的可疑目标前景图中，对该目标用外接矩形框在视频图像上进行表示，然后使用人机交互方式迅速确认所要跟踪的目标，并利用所选定目标的位置、大小及提取的特征信息，对检测器和跟踪器分别进行初始化，触发目标跟踪和目标检测，同时向其它摄像机的目标识别单元发出触发目标识别的消息；步骤B，跟踪器根据上一帧图像中目标的位置和大小信息，估计当前帧图像中目标的位置和大小；同时，使用检测器对当前帧图像进行检测，找出当前帧图像中所有可能的目标；步骤C，对跟踪器和检测器的处理结果进行融合，判断出当前帧图像是否存在目标以及目标的位置和大小：C‑1，如果不存在目标，则返回步骤B开始对下一帧图像进行检测；C‑2，如果存在目标，则将目标的位置、大小及相应的特征信息进行保存，并带入学习组件，通过学习组件完成对检测器的在线更新，此时被检测出的运动目标图像也要间隔进行保存，接着将训练过的检测器及目标图像传递给其它摄像机的目标识别单元，然后跳到步骤B，开始对下一帧图像的处理；对于其它摄像机，与前述拍摄到可疑目标的摄像机同步运行，具体执行以下步骤：步骤D，对运动目标进行检测：如果没有检测到目标，则继续执行检测，如果检测到目标，进入下一步骤；步骤E，判断是否接受到步骤A所述的触发目标识别的消息，如果没有，则跳转至步骤D，否则触发目标识别单元，进入下一步骤；步骤F，通过传递到本摄像机目标识别单元的目标图像，评估当前帧图像中所有分离出的运动目标图像，同时融合已训练过的检测器对当前帧图像中运动目标的处理结果，判断出当前帧图像是否存在要跟踪的目标：如果连续N帧图像都检测出目标，判定可疑目标在本摄像机出现，否则，则判定可疑目标没有出现，其中N为自然数；步骤G，如果可疑目标没有出现，则返回步骤F继续对下一帧图像分离出的目标进行识别；如果可疑目标出现，则根据步骤C‑2，开始对下一帧图像进行处理。...

【技术特征摘要】
1.一种基于多摄像机的区域可疑目标跟踪与识别方法，其特征在于，在多摄像机中的第一摄像机里，将触发报警的可疑目标前景图提取出来，执行如下步骤：步骤A，在提取出的可疑目标前景图中，对该可疑目标用外接矩形框在视频图像上进行表示，然后使用人机交互方式迅速确认所要跟踪的可疑目标，并利用所选定可疑目标的位置、大小及提取的特征信息，对检测器和跟踪器分别进行初始化，触发目标跟踪和目标检测，同时向其它摄像机的目标识别单元发出触发目标识别的消息；步骤B，跟踪器根据上一帧图像中目标的位置和大小信息，估计当前帧图像中目标的位置和大小；同时，使用检测器对当前帧图像进行检测，找出当前帧图像中所有可能的目标；步骤C，对跟踪器和检测器的处理结果进行融合，判断出当前帧图像是否存在目标以及目标的位置和大小：C-1，如果不存在目标，则返回步骤B开始对下一帧图像进行检测；C-2，如果存在目标，则将目标的位置、大小及相应的特征信息进行保存，并带入学习组件，通过学习组件完成对检测器的在线更新，此时被检测出的运动目标图像也要间隔进行保存，接着将训练过的检测器及目标图像传递给其它摄像机的目标识别单元，然后跳到步骤B，开始对下一帧图像的处理；对于其它摄像机，与前述第一摄像机同步运行，具体执行以下步骤：步骤D，对运动目标进行检测：如果没有检测到运动目标，则继续执行检测，如果检测到运动目标，进入下一步骤；步骤E，判断是否接受到步骤A所述的触发目标识别的消息，如果没有，则跳转至步骤D，否则触发目标识别单元，进入下一步骤；步骤F，通过传递到本摄像机目标识别单元的目标图像，评估当前帧图像中所有分离出的运动目标图像，同时融合已训练过的检测器对当前帧图像中运动目标的处理结果，判断出当前帧图像是否存在要跟踪的可疑目标：如果连续N帧图像都检测出可疑目标，判定可疑目标在本摄像机出现，否则，则判定可疑目标没有出现，其中N为自然数；步骤G，如果可疑目标没有出现，则返回步骤F继续对下一帧图像分离出的目标进行识别；如果可疑目标出现，则根据步骤C-2，开始对下一帧图像进行处理。2.如权利要求1所述的一种基于多摄像机的区域可疑目标跟踪与识别方法，其特征在于，所述步骤A中是采用背景差法进行目标前景图提取。3.如权利要求1所述的一种基于多摄像机的区域可疑目标跟踪与识别方法，其特征在于，所述步骤B中跟踪器根据上一帧图像中目标的位置和大小信息，估计当前帧图像中目标的位置和大小的具体步骤如下：B1，根据目标在上一帧图像的位置和大小信息获得目标边界框，并在目标边界框内提取特征点；B2，通过光流法完成相邻两帧图像间目标边界框内特征点的匹配跟踪；当单特征点的累计位移偏差大于设定的阈值时则认为目标中对应的特征点跟踪错误，将其删掉，否则保留；B3，利用保留下来的特征点对当前帧图像的目标边界框进行评估，从而估计出当前帧图像中目标的位置和大小。4.如权利要求1所述的一种基于多摄像机的区域可疑目标跟踪与识别方法，其特征在于，所述步骤B中使用检测器对当前帧图像进行检测，找出当前帧图像中所有可能的目标的具体步骤如下：a，计算当前帧图像中所有用于扫描的目标边界框的方差值，用所有扫描框的方差与目标框的方差进行比较，过滤掉所有比目标框的方差小于比例阀值的扫描框；b，定义M个基本分类器，对于所有未被过滤掉的扫描框都要进行n种尺度变换，每个基本分类器都会在变换后扫描框内的随机选取m处位置进行...

【专利技术属性】
技术研发人员：韩光，李晓飞，孙宁，顾静，任陶瑞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32