一种基于全景和常规视觉的混合视觉目标定位方法技术

本发明专利技术属于机器视觉领域，具体涉及一种基于全景和常规视觉的混合视觉目标定位方法。本发明专利技术包括：(1)混合视觉系统的标定；(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标；(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配；(4)计算所识别目标的三维信息对其进行定位。本发明专利技术使用混合视觉系统，在保证全景视觉系统大视场视频监视这一优势的前提下，应用透视相机高分辨率这一优势，对目标进行定位，提高了定位精度，从而实现了一种低功耗、高性能的立体化可视化目标探测系统。

A hybrid vision target localization method based on panoramic and conventional vision

The invention belongs to the field of machine vision, and particularly relates to a method for positioning a hybrid visual object based on panoramic and conventional vision. The present invention includes: (1) mixed calibration of vision system; (2) panoramic camera to identify the target and calculate the target panoramic images of azimuth, rotation angle and the corresponding perspective camera shooting panoramic camera to identify the target; (3) using SIFT image feature matching algorithm of feature points and common mixed field of vision system in the match; (4) the location of 3D information calculation of target identification. The present invention uses hybrid vision system, on the premise of panoramic vision system with large field video surveillance this advantage under the application of high resolution camera perspective the advantage of target positioning, improve the positioning accuracy, so as to realize the three-dimensional visualization of the target of a low power consumption and high performance detection system.

【技术实现步骤摘要】

本专利技术属于机器视觉领域，具体涉及一种基于全景和常规视觉的混合视觉目标定位方法。
技术介绍
视觉技术由于其具有非接触感知、获取信息量丰富、抗干扰能力强等特点，在环境理解、目标探测、视觉导航及安防监控等领域有着广泛的应用。混合视觉系统由一个全景视觉系统和一个常规视觉系统组成的异构混合立体视觉系统，其利用全景视觉成像视角广阔及球面空间方位可定位的特点，首先对环境目标进行发现，然后控制常规视觉系统对兴趣目标进行精确观察,此混合系统兼顾了视觉视场和可视距离双重因素，正逐渐成为实现大视场远距离环境感知的有效手段，目前，并未见基于此异构双尺度混合视觉系统实现对视域内所识别目标精确定位以及三维空间重构等方面的研究相关报道。因此，基于全景和常规视觉的混合视觉目标定位技术的研究具有很大价值。
技术实现思路
本专利技术的目的在于提供一种基于全景和常规视觉的混合视觉目标定位方法。本专利技术的目的是这样实现的：一种基于全景和常规视觉的混合视觉目标定位方法，包括如下步骤：(1)混合视觉系统的标定；(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标；(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配；(4)计算所识别目标的三维信息对其进行定位；所述的混合视觉系统，上半部分为一个全景相机，下半部分为一个透视相机；其中全景相机包括双曲面全方位成像反光镜1,经全景相机环形透光玻璃支撑筒2支撑在全景相机支架底座3上，在全方位成像反光镜1下方全景相机环形透光玻璃支撑筒2内的全景相机支架底座3上，垂直向上设置有1394相机4；作为透视相机的1394相机5垂直链接于可旋转的链接杆6并垂直链接在全景相机支架底座3上，透视相机环形透光玻璃支撑筒7支撑全景相机，置于透视相机支架底座8上。所述的混合视觉系统的标定是对极几何模型，其中全景相机由球形同一模型表示，透视相机用小孔模型表示，通过全景摄像机有效投影中心Om1、透视摄像机有效投影中心Om2和空间一点x的平面称为极平面，两个投影中心的连线称为基线，任意两张极平面均相交于基线；极平面与单位球相交于单位圆，该圆在全景图像上成像为一条二次曲线l1，该曲线称为全景图像极线；极平面与透视相机成像平面交于直线l2，该直线称为透视图像极线；同一张极平面π在两个摄像机像平面上成像的两条曲线l1，l2称为一对极线对应；基线与单位球相交于两点，其在全景相机像平面上的成像点为为全景图像极点，记为e11、e12；基线与透视相机平面交于e2为透视相机成像面极点，e11和e12是透视相机有效投影中心在全景视觉系统像平面上的成像点，e2则是全景视觉系统有效投影中心在透视相机像平面上的成像点；所有极平面组成了共基线的平面束，极平面在两个视觉系统成像平面上的投影曲线都相交于极点，组成共极点的平面曲线簇。所述的全景相机识别目标并计算全景图像中目标的方位角，主要步骤包括：1)用基于分区的自适应阈值Canny边缘检测算法对全景图像进行边缘检测，对海天线边缘进行双阈值梯度方向过滤；2)对图像边缘进行细化，使用基于最长曲线法海天线边缘提取算法进行椭圆拟合得到海天线边缘成像椭圆方程；3)根据海天线椭圆方程对海天线上舰船目标进行检测；4)根据标定的图像中心和识别的舰船目标中心点，计算目标相对于全景坐标系的方位角。本专利技术的有益效果在于：使用混合视觉系统，在保证全景视觉系统大视场视频监视这一优势的前提下，应用透视相机高分辨率这一优势，对目标进行定位，提高了定位精度，从而实现了一种低功耗、高性能的立体化可视化目标探测系统。附图说明图1为本专利技术混合视觉装置示意图。图2为本专利技术中混合视觉系统标定模型说明。具体实施方式下面结合附图和本专利技术一种较佳的具体实施实例对本专利技术作进一步说明。本专利技术公开了一种基于全景和常规视觉的混合视觉目标定位技术。采用机器视觉的方案，使用一个全景相机和一个透视相机组合的混合视觉系统进行目标的定位。主要步骤有，混合视觉系统的标定、全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标、采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配、计算所识别目标的三维信息进行定位。本专利技术的有益效果是：使用混合视觉系统，在保证全景视觉系统大视场视频监视这一优势的前提下，应用透视相机高分辨率这一优势，对目标进行定位，提高了定位精度，从而实现了一种低功耗、高性能的立体化可视化目标探测与定位系统。本专利技术实现专利技术目的采用的技术方案是：采用基于全景视觉和常规变焦视觉技术相结合的异构双尺度探测模式，构建了一套大范围目标探测系统。此系统利用全景视觉成像系统“水平视场无死角、垂直视场抗摇摆、成像凝视一体化、360度大视场、轴线旋转不变性、可空间球面坐标定位、图像沉浸感强、系统无运动部件”等特点，实现系统一定距离范围内的大视场环境“粗略”监视，当在其全景视域范围内发现可疑目标或需要对周围环境进行定点精确观察时，全景视觉系统对视点进行方位解算后，激发处于休眠状态的常规变焦视觉系统，引导其通过宽范围光学变焦实现对既定视点的精确观察，这样利用全景视觉系统的广阔视场进行目标发觉，利用常规变焦视觉系统的远视能力来弥补全景视觉系统定焦成像及分辨率不足的缺点，且在浮标周围海域内未出现兴趣目标时，常规变焦视觉系统处于一种零功耗的休眠状态，而全景视觉系统由于没有运动部件，其采集图像的功耗很低，从而实现了一种低功耗、高性能的立体化可视化目标探测系统。一种基于全景和常规视觉的混合视觉目标定位技术，主要步骤有：混合视觉系统的标定、全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标、采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配、计算所识别目标的三维信息进行定位。第一步：混合视觉系统的标定，使用平面板立体标定方法，主要步骤有：1)使用平面板放在不同位置，使用全景和透视相机同时拍摄25幅图像。2)使用matlab标定工具箱进行标定。第二步：全景相机识别目标并计算全景图像中目标的方位角，主要步骤有：1)用基于分区的自适应阈值Canny边缘检测算法对全景图像进行边缘检测，对海天线边缘进行双阈值梯度方向过滤。2)对图像边缘进行细化，使用基于最长曲线法海天线边缘提取算法进行椭圆拟合得到海天线边缘成像椭圆方程。3)根据海天线椭圆方程对海天线上舰船目标进行检测。4)根据标定的图像中心和识别的舰船目标中心点，计算目标相对于全景坐标系的方位角。第三步：透视相机旋转相应角度并拍摄全景相机识别到的目标。第四步：采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配。第五步：计算所识别目标的三维信息进行定位。本文档来自技高网...

【技术保护点】
一种基于全景和常规视觉的混合视觉目标定位方法，其特征在于，包括如下步骤：(1)混合视觉系统的标定；(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标；(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配；(4)计算所识别目标的三维信息对其进行定位；所述的混合视觉系统，上半部分为一个全景相机，下半部分为一个透视相机；其中全景相机包括双曲面全方位成像反光镜(1),经全景相机环形透光玻璃支撑筒(2)支撑在全景相机支架底座(3)上，在全方位成像反光镜(1)下方全景相机环形透光玻璃支撑筒(2)内的全景相机支架底座(3)上，垂直向上设置有1394相机(4)；作为透视相机的1394相机(5)垂直链接于可旋转的链接杆(6)并垂直链接在全景相机支架底座(3)上，透视相机环形透光玻璃支撑筒(7)支撑全景相机，置于透视相机支架底座(8)上。

【技术特征摘要】
1.一种基于全景和常规视觉的混合视觉目标定位方法，其特征在于，包括如下步骤：(1)混合视觉系统的标定；(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标；(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配；(4)计算所识别目标的三维信息对其进行定位；所述的混合视觉系统，上半部分为一个全景相机，下半部分为一个透视相机；其中全景相机包括双曲面全方位成像反光镜(1),经全景相机环形透光玻璃支撑筒(2)支撑在全景相机支架底座(3)上，在全方位成像反光镜(1)下方全景相机环形透光玻璃支撑筒(2)内的全景相机支架底座(3)上，垂直向上设置有1394相机(4)；作为透视相机的1394相机(5)垂直链接于可旋转的链接杆(6)并垂直链接在全景相机支架底座(3)上，透视相机环形透光玻璃支撑筒(7)支撑全景相机，置于透视相机支架底座(8)上。2.根据权利要求1所述的一种基于全景和常规视觉的混合视觉目标定位方法，其特征在于：所述的混合视觉系统的标定是对极几何模型，其中全景相机由球形同一模型表示，透视相机用小孔模型表示，通过全景摄像机有效投影中心Om1、透视摄像机有效投影中心Om2和空间一点x的平面称为极平面，两个投影中心的连线称为基线，任意两张...

【专利技术属性】
技术研发人员：蔡成涛，翁翔宇，范冰，刘安，陆军，孟浩，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23