基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法技术

本发明专利技术涉及无人飞行器技术领域，尤其是一种基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法。其实现操作步骤为:（1）标定鱼眼镜头：用单目镜头标定方法标定鱼眼镜头，得到镜头的内参跟畸变系数，用于鱼眼镜头采集图像的畸变矫正；（2）目标视觉追踪：用鱼眼镜头目标周围小区域畸变矫正后的图像进行目标特征生成与搜索匹配追踪。该方法用单目鱼眼镜头进行视觉追踪，采用的算法策略，巧妙的减少了计算复杂性，解决了鱼眼镜头的使用局限。同时充分利用了鱼眼镜头视野广的优点，省去了相机云台，减少了无人机控制算法的复杂性，达到很好的追踪效果。

【技术实现步骤摘要】

本专利技术涉及无人飞行器
，尤其是一种基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，该方法主要是通过采用一个鱼眼镜头来进行视觉信息采集与追踪，结合了鱼眼镜头目标区域局部畸变矫正与目标视觉追踪方法，对地面移动目标进行跟踪监控。通过采用上述算法策略，可以显著减少了算法的计算复杂度，充分发挥了鱼眼视觉系统的大视场等优点。技术背景小型无人旋翼机具有垂直起降、空中悬停、飞行方向机动性性好以及携带方便、隐蔽性好、启动快、成本低等特点，在现代军事、反恐和民用方面具有广阔的应用前景，尤其是携带视觉系统后可以作为一个机动灵活的低空制高点，非常适用于对地面移动目标的监测监控与实时跟踪。为了扩大小型旋翼机的监测监控范围，大多数小型旋翼机的视觉系统均安装了二维或三维云台伺服系统。然而，在整个监控系统当中，小型旋翼机、云台以及地面移动目标均发生相对运动，这增加了控制系统的难度。另外，机载云台的机构装置及硬件系统也增加了小型无人旋翼机负载。因此，小型旋翼机迫切需要一种大视场的监测监控系统，这样以来地面移动目标就始终处于视场中。鱼眼镜头是模拟水下鱼类仰视水面效果的一种超广角镜头，其典型视场角为180°，还有的超过180°、大于220°，甚至达到270°。鱼眼镜头的好处很多：视角大，可容纳场景多，且可以适应狭小空间拍摄，因此在虚拟实景技术、机器人导航、视觉监控等许多计算机视觉领域中被广泛应用。因此，如果将基于鱼眼镜头的视觉系统安装在小型旋翼机上面，可以不用借助云台对地面目标进行全局大视场监控。然而，采用鱼眼镜头拍摄的图像由于视角超广，因此其桶形弯曲畸变非常大，画面周边的成像呈现严重变形，直线弯曲，只有镜头中心部分的内容可以保持原来的状态。这是限制鱼眼镜头在机器人视觉应用的重要原因。为了消除鱼眼图像的变形，人们提出各种成像模型和校正算法。图像畸变可以采用畸变算法矫正，但是如果对整个鱼眼视场的图像校正处理与传输，随着图像的尺寸增加矫正算法的耗时变长。本专利技术结合了鱼眼镜头目标区域局部畸变矫正与目标视觉追踪方法算法策略，巧妙的减少了计算复杂性，避开了鱼眼镜头的缺点。同时利用了鱼眼镜头优点，省去了相机云台，减少了无人机控制算法的复杂性，能达到很好的追踪效果。
技术实现思路
本专利技术的目的在于针对已有技术存在的不足，提出一种基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，避免了鱼眼镜头拍摄的图像畸变矫正耗时的缺点，充分利用了鱼眼镜头视野广的优点，利用鱼眼镜头采集视频进行实时处理并跟踪，省去了无人机镜头云台，简化了无人机控制的复杂度。为达到上述目的，本专利技术的构思是：将基于鱼眼镜头的图像采集系统固定在小型无人旋翼机下面，镜头光轴方向正向朝下采集视频图像，如图1所示。对鱼眼镜头进行标定，得出鱼眼镜头的畸变系数。鱼眼镜头的原始畸变图像与畸变纠正图像示例说明如图2所示。当要选定追踪目标时，在地面客户端用矩形在鱼眼视频图像上框选目标。在算法开始追踪前，以框选的目标矩形中心像素点为中心，长和宽分别为目标矩形框长宽的三倍(可根据系统设备、跟踪环境以及跟踪目标等因素适当调整)矩形子区域为图像进行畸变矫正，如图3所示。以矫正后的子图像为追踪算法的原始图像，在此图像上提取框选的目标特征。在下一帧视频图像上，在相同的矫正子区域矫正图像，在矫正后的图像上判别出目标的位置用于控制小型旋翼机的追踪，同时由于目标位姿的变化更新当前目标的特征。下一帧中矫正的子图像区域更新为上一帧中判别出来的目标位置，即以上一帧目标矩形中心像素点为中心，长和宽分别为目标矩形框长宽的三倍矩形子区域图像进行畸变矫正。在矫正后的图像上执行追踪算法的目标位置判别，执行目标特征更新与无人机跟踪。循环以上过程，随着目标出现在视场中的不同位置，不断的更新目标的特征与畸变矫正的区域，迭代的进行目标跟踪。本专利技术采用畸变矫正目标周围范围内的子图像，显著缩短了算法时间消耗。用畸变矫正后的图像进行目标的特征更新与位置跟踪。此种专利技术算法策略，充分利用了鱼眼镜头的大视场特性，同时避免了算法运算复杂度。省去了普通镜头的云台，简化了无人机的控制模型。同时显示矫正后图像，对使用者准确观测目标几乎没有影响。基于上述专利技术策略执行的小型无人旋翼机视觉跟踪系统，能达到既定效果同时优势显著。根据上述专利技术构思，本专利技术采用下述技术方案：基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，其特征在于包含以下步骤：(1)鱼眼镜头畸变视频图像矫正：对镜头进行标定，得出镜头的内参与镜头畸变系数。此内参与畸变系数用于矫正鱼眼镜头的畸变图像。(1-1)固定镜头，用如图2所示的棋盘图像拍摄一组(20张左右)不同位姿的图像；(1-2)提取图像角点，得出角点的摄像机坐标；(1-3)将角点的摄像机坐标与世界坐标对应代入单目相机的标定公式可得出相机的内参和畸变系数；(1-4)利用相机内参和畸变系数得出映射矩阵，可以将畸变图像重新映射为没有畸变的图像，即完成畸变矫正；(2)鱼眼镜头视觉追踪方法：开始追踪时手动框选追踪目标；适当放大该目标区域进行鱼眼图像畸变矫正，在矫正后的图像上提取目标特征进行追踪；追踪过程中每一帧畸变矫正图像区域都是在前一帧目标区域范围内进行适当放大后的子区域，目标特征也是在上一帧判别出来的目标位置重新提取特征进行更新。(2-1)开始算法追踪时手动框选目标；(2-2)以框选的目标矩形中心像素点为新的矩形中心，长和宽都放大三倍做为新的矩形长和宽，对放大后的区域进行畸变矫正；(2-3)在矫正后的图像上原框选的目标矩形范围提取特征，建立目标特征模型。(2-4)鱼眼镜头采集到下一帧图像时，在当前图像上，上一帧目标所在的区域放大三倍作为子区域进行畸变矫正，在矫正后的图像上利用上一帧更新后的目标模型判别目标所在的当前帧区域位置，控制无人机飞行，并提取此帧目标区域特征来更新目标特征模型。(2-5)在新的一帧采集到时，循环(2-4)，不断的更新目标模型与目标区域，以及要进行畸变矫正的子图像区域，连续的进行目标跟踪。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本专利技术小型无人自旋翼机用单目鱼眼镜头追踪方法，采用的算法策略，巧妙的减少了计算复杂性，避开了鱼眼镜头的缺点。同时充分利用了鱼眼镜头视野广的优点，省去了相机云台，减少了无人机控制算法的复杂性，达到很好的追踪效果。附图说明图1为本
技术实现思路
所述的无人机鱼眼镜头安装说明示例图。图2为本
技术实现思路
所述的鱼眼镜头采集的原始畸变图像与畸变矫正后的图像说明示例。图3为本
技术实现思路
所述的鱼眼镜头采集的图像，目标区域，要畸变矫正子区域说明示例。图4为本专利技术方法主程序框图。图4a为本专利技术鱼眼镜头标定的子程序框图。图4b为目标视觉追踪的子程序框图。图5为本专利技术整个方法流程图。具体实施方式为使本专利技术的目的、技术方案、和优点更加清楚，下面结合附图对本专利技术的优选实施例进一步地详细描述。实施例一：参见图1～图4，本专利技术基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，使用单目鱼眼镜头，采用巧妙算法策略解决鱼眼镜头畸变矫正耗时大的缺点，充分发挥了鱼眼镜头视场广的优点。利用鱼眼镜头目标周围小区域畸变矫正后的图像实施视觉追踪，目标不易离开镜头视场，简化了无人机控制，实现了很好的跟踪本文档来自技高网...

【技术保护点】
基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，其特征在于操作步骤如下：（1）鱼眼镜头标定：用单目镜头标定方法标定鱼眼镜头，得到镜头的内参跟畸变系数，用于鱼眼镜头采集图像的畸变矫正；（2）目标视觉追踪：用鱼眼镜头目标周围小区域畸变矫正后的图像进行目标特征生成与搜索匹配追踪。

【技术特征摘要】
1.基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，其特征在于操作步骤如下：（1）鱼眼镜头标定：用单目镜头标定方法标定鱼眼镜头，得到镜头的内参跟畸变系数，用于鱼眼镜头采集图像的畸变矫正；（2）目标视觉追踪：用鱼眼镜头目标周围小区域畸变矫正后的图像进行目标特征生成与搜索匹配追踪。2.根据权利要求1所述的基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法，其特征在于所述步骤（2）中鱼眼镜头追踪方法所采用下列具体步骤：(2-1)开始算法追踪时手动框选目标；(2-2)以框选的目标矩形中心像素点为新的矩...

【专利技术属性】
技术研发人员：李恒宇，袁泽峰，曹宁，丁长权，谢少荣，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31