本发明专利技术提出了一种双目PTZ视觉系统的主从跟踪方法及应用该方法的系统，该主从跟踪方法包括如下步骤：对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；建立球面坐标系，使两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；选定主摄像机和从摄像机，在主摄像机的观测图像上选定跟踪目标，使主摄像机在任意pan-tilt-zoom参数(PM,TM,ZM)下估计从摄像机pan-tilt-zoom参数输出高分辨率全景图。本发明专利技术的主从跟踪方法既能实现大范围场景下的监控，又能降低硬件开销。本发明专利技术的主从跟踪系统的两个PTZ摄像机设计对称，二者的地位可以根据任务不同而互换，灵活性强，并且有利于后期的信息融合。
【技术实现步骤摘要】
本专利技术涉及计算机视觉智能监控
，特别涉及一种采用双目PTZ摄像机的视觉系统进行主从跟踪系统及其跟踪方法。
技术介绍
随着世界范围内对公共安全以及军事安全的迫切需求，智能视觉监控技术受到越来越多的重视。在智能视觉监控技术早期的应用中，智能程度很低，安全防范功能主要依靠人对监控视频中的事件进行判断，可靠度和自动化程度都很低。随着计算机处理性能的飞 速发展和计算机视觉理论的不断完善，智能视觉监控系统得到了巨大发展，其发展前景非常广阔，引起了很多学者和工程技术人员的高度重视。智能视觉监控系统的一个核心任务是对感兴趣的目标进行实时跟踪。传统的智能视觉监控系统多采用静止摄像机，由于摄像机视场固定，分辨率单一，无法获得跟踪目标的高分辨率图像，为日后的查询、举证等工作带来困难；随着硬件水平的提高，基于单目PTZ(Pan/Tilt/Zoom，云台全方位移动及镜头变倍、变焦控制)摄像机的主动跟踪系统得到了广泛研究与应用，这些系统可使目标以较大尺度出现在图像中心，但由于视场狭小丢失了全景信息，难以直观获得目标在场景中的位置。针对上述缺陷，包含PTZ摄像机的多目视觉系统成为智能监控中的研究热点，这些系统一般工作在主从模式下，主摄像机实现目标在全景下的跟踪，并控制PTZ摄像机对目标进行主动跟踪。现有主从系统中包括一个静止摄像机与一个PTZ摄像机相结合的系统构架，该系统主要问题在于监控视场有限，仅局限于静止摄像机的监控视场，无法适应于大场景下的监控；多静止摄像机与PTZ摄像机相结合的系统配置，该系统配置虽然为了扩大监控范围，但大大增大了硬件开销；全向摄像机与PTZ摄像机相结合的跟踪系统配置，该系统一般应用于室内场景，且由于全向摄像机分辨率低，较难实现两摄像机之间的信息融合。因此，寻找一种既能实现大范围场景下的监控，又能降低硬件开销的视觉跟踪方法是一个亟需解决的技术问题。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种双目PTZ视觉系统的主从跟踪系统及其跟踪方法。为了实现本专利技术的上述目的，根据本专利技术的一个方面，本专利技术提供了一种双目PTZ视觉系统的主从跟踪方法，包括如下步骤S1:对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；S2 :建立球面坐标系，使所述两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；S3:选定王摄像机和从摄像机，并在王摄像机的观测图像上选定跟S示目标，使王摄像机在任意pan-tilt-zoom参数(PM, TM, ZM)下，由跟踪目标在从摄像机观测图像Im上的运动轨迹；4(/ = 1... )估计从摄像机 pan-t i I t-zoom 参数的；’Zs)</ = ；S4 :输出高分辨率全景图。本专利技术的双目PTZ视觉系统的主从跟踪方法既能实现大范围场景下的监控，又能降低硬件开销。 在本专利技术的一种优选实施方式中，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机。在本专利技术的另一种优选实施方式中，两个摄像机根据监控任务分别在监控场景中进行视觉巡视，当任何一个摄像机发现可疑物体后，即作为主摄像机采用静止摄像机下的跟踪方法对其进行跟踪，并进入主从工作模式，控制另一个摄像机作为从摄像机对可疑物体主动跟踪。本专利技术在大范围场景的监控中，实现两摄像机任意参数下的主从模式跟踪，并获得跟踪目标的高分辨率全景图像。由于实际应用中不同的监控场景或监控任务对应的pan-tilt-zoom参数不同，实现任意参数下的主从模式跟踪，具有更大的实际应用价值，也更加具有通用性，本专利技术只需要两摄像机安装固定，可方便处理两摄像机参数变化的情形，不受摄像机参数改变的影响。同时，本专利技术以高分辨率全景作为结果输出，在显示高分辨率目标图像的同时，更加直观地显示目标在整个监控场景中的运动信息，增强了可视性和实用性，并可用于后期目标的行为分析、姿态识别、步态分析等。为了实现本专利技术的上述目的，根据本专利技术的二个方面，本专利技术提供了一种双目PTZ视觉系统的主从跟踪系统，包括主机；第一摄像机和第二摄像机，所述第一摄像机和第二摄像机分别与主机相连，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机，图像捕获模块，所述图像捕获模块分别与所述第一摄像机和第二摄像机进行信息交互；第一摄像机控制模块和第二摄像机控制模块，所述第一摄像机控制模块控制第一摄像机的运转和观测模式，所述第二摄像机控制模块控制第二摄像机的运转和观测模式；所述第一摄像机和第二摄像机内还分别包括目标跟踪模块、目标预测模块、球面坐标模型模块和PTZ参数模块，在所述主摄像机内，所述目标跟踪模块对可疑对象进行跟踪，并将跟踪结果传输给所述目标预测模块，所述目标预测模块与从摄像机的球面坐标模型模块相连，所述目标预测模块对可疑对象的位置进行预测，并就预测结果传输给从摄像机，所述从摄像机的球面坐标模型模块对坐标进行变换，并将变换结果传输给PTZ参数模块计算PTZ参数，所述PTZ参数模块将计算的PTZ参数传输给相应的摄像机控制模块。本专利技术的双目PTZ视觉系统的主从跟踪系统的两个PTZ摄像机设计对称，二者的地位可以根据任务不同而互换，灵活性强，并且有利于后期的信息融合。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中图1是本专利技术双目PTZ视觉系统的主从跟踪系统的结构示意图；图2是本专利技术两个摄像机的PTZ参数几何关系示意图；图3是本专利技术估计从摄像机参数的流程图；图4是根据场景深度范围估计从摄像机纬度范围的示意图；图5是Pan-tilt参数估计示意图；图6是在本专利技术第一优选实施例中主从跟踪与高分辨率全景结果图；图7是在本专利技术第二优选实施例中主从跟踪与高分辨率全景结果图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、 “连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可 以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据 具体情况理解上述术语的具体含义。本专利技术提供了一种双目PTZ视觉系统的主从跟踪系统，如图1所示，包括主机(图 中没有示出)，第一摄像机和第二摄像机，该第一摄像机和第二摄像机分别与主机相连，两 摄像机中的任意一台作为主摄像机，另外一台作为从摄像机；该系统还包括图像捕获模块、 第一摄像机控制模块和第二摄像机控制模块，该图像捕获模块分别与第一摄像机和第二摄 像机进行信息交互；该第一摄像机控制模块控制第一摄像机的运转和观测模式，第二摄像 机控制模块控制第二摄像机的运转和观测模式；第一摄像机和第二摄像机内还分别包括目 标跟踪模块、目标预测模块、球面坐标模型模块和PTZ参数模块，在主摄像机内，目标跟踪 模块对可疑本文档来自技高网...
【技术保护点】
一种双目PTZ视觉系统的主从跟踪方法，其特征在于，包括如下步骤：S1：对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；S2：建立球面坐标系，使所述两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；S3:选定主摄像机和从摄像机，并在主摄像机的观测图像上选定跟踪目标，使主摄像机在任意pan?tilt?zoom参数(PM,TM,ZM)下，由跟踪目标在从摄像机观测图像IM上的运动轨迹估计从摄像机pan?tilt?zoom参数(PSt,TSt,ZSt)(t=1...n);S4：输出高分辨率全景图。FDA00002396532600011.jpg
【技术特征摘要】
1.一种双目PTZ视觉系统的主从跟踪方法，其特征在于，包括如下步骤 51:对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型； 52:建立球面坐标系,使所述两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵； S3:选定王摄像机和从摄像机，并在王摄像机的观测图像上选定跟S示目标，使王摄像机在任意pan-tilt-zoom参数(PM, Tm, Zm)下，由跟踪目标在从摄像机观测图像Im上的运动轨迹/4(/ = 1... )估计从摄像机 pan-tilt-zoom 参数(6;，4)(/ = 1..功； S4 :输出高分辨率全景图。2.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤SI包括对两个PTZ摄像机分别标定外参矩阵R和内参矩阵K，所述外参矩阵R仅与pan和tiIt参数有关，且pan和tilt参数的旋转轴垂直相交于摄像机中心。3.如权利要求2所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述标定内参矩阵K的步骤为 531:设定摄像机的像素纵横比\和倾斜度S ； 532:采用zoom中心代替主点(U。, V0),保证摄像机的pan和tilt参数不变,通过改变zoom参数获得图像序列，对每幅图像进行SIFT特征点提取，并对相邻两帧图像中的特征点进行匹配，最后用最小二乘方法得到zoom中心； 533:构造焦距f随zoom参数的变化模型。4.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤S2包括如下步骤 S41 :手动采集两个摄像机在同一监控场景中的N对图像，使每对图像的视场基本保持一致； S42:分别对每对图像进行SIFT特征点提取与匹配，估计每对图像的基础矩阵Fj (j=l，...，N)，记录匹配的特征点对10 其中，j为N对图像的第j对图像，k为第jJ5对图像的第k对特征点，N为正整数； 543:估计球面坐标系的极点对(E1, E2}； 544:估计球面坐标系的参考零经度线； 545:得到变换矩阵R1, R2。5.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，在所述步骤S3中，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机。6.如权利要求1...
【专利技术属性】
技术研发人员：周杰，崔智高，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。