基于多尺度标识物的无人机视觉导航降落系统技术方案

一种基于多尺度标识物的无人机视觉导航降落系统，包括多尺度标识物，识别及姿态结算算法和导航系统，多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。本发明专利技术尺度变化适应力高、姿态解算能力好、扩展性较好。

Visual navigation landing system of unmanned aerial vehicle based on multi-scale identification

A UAV navigation landing system based on multi-scale markers, including multi-scale marker recognition and pose clearing algorithm and navigation system, a multi-scale marker to the image center as the origin of the coordinate system (0,0,0), the length of 1 pixels in the pixel as the center to extend in four directions, each outward extension of time, length of black rectangle is 2 times the original size; the whole pixel size and mark automatically generate the multi-scale markers according to the world coordinate system in hypothesis; mark the center point, Z axis marker points is 0 and the matrix of known coordinates of the center of rotation and translation; matrix camera with respect to the marker; the navigation system includes coordinate calibration module, image acquisition module and a processing module, a processing module used for object recognition, responsible attitude Calculation, navigation control and communication with UAV flight controller. The invention has the advantages of high scale change, high adaptability, good gesture resolution and good expansibility.

【技术实现步骤摘要】
基于多尺度标识物的无人机视觉导航降落系统
本专利技术涉及无人机驾驶飞行器(UnmannedAerialVehicle)简称无人机(UAV)和计算机视觉(Computervision)领域，尤其是一种无人机视觉导航降落系统。
技术介绍
无人机自主导航降落是指无人机利用飞行控制系统和自身传感器进行定位导航并最终控制无人机降落的过程。自主降落是实现自主飞行的重要基础和关键技术。根据任务的不同要求，通常对于导航与控制精度，环境鲁棒性及可靠性均有较高的要求。传统的无人机自主着陆的导航技术包括：惯性导航系统(INS)、GPS导航系统和INS/GPS组合导航系统。惯性导航系统是利用陀螺、加速度计等惯性元件估计无人机在运动过程中的角速度和加速度，然后通过积分计算和传感器融合，得到无人机的位置、速度等导航参数。惯性导航的缺点是传感器的数据会随着时间的推移而漂移，因此难以长时间独立工作，而需与其它导航方法组合使用；GPS导航系统利用导航卫星进行导航定位，但由于完全依靠导航卫星，存在信号易受干扰和技术垄断等问题，同时导航精度有限，一般GPS的精度在5-10米。差分GPS精度高，但价格昂贵。近几年，由于计算机视觉的快速发展和机载运算设备的性能不断提升。视觉导航凭借其在导航精度，任务的处理能力，环境的适应能力上的优势逐步成为导航降落中的重要方法和未来的发展的重要趋势。现有的基于视觉的无人机导航降落系统主要包括：基于人工标识物的导航降落系统、基于自然场景分析的导航降落系统和基于地基信息导航降落系统。基于人工标示物的导航降落系统，需要在降落区域布置人工标识物，但在可靠性，环境鲁棒性上要高于另两种方法。基于标示物的导航降落能够满足大多数此类无人机任务场景，如自主返航降落，物资运输投递，自主能源补给等。目前常见的用于导航的识别物为一些平面图案，包括“H”型，圆形，矩形标识物，Apriltage，ARtag等编码表示物，或者由LED组成的平面标识物。此类算法，可以通过标识物，进行相机的位置解算，被用在视觉导航，增强现实(AR)等场景中。但目前基于标识物的降落方法有以下几点不足：1)由于在无人机降落过程中，飞行高度发生变化，所以所获取的图像会有巨大的尺度变化，而该类标识物无法进行尺度的调整，造成标识物检测失败，姿态结算错误等问题。在移动目标视觉导航降落的过程中，2)通常一般形状标识物，识别和姿态估计的计算量较大，实时性较差。不具备旋转，仿射不变性。也由于标识物识别上的瓶颈，使得无法设计出很好位置解算方法和导航控制策略，使得传统的标示物视觉导航算法无法很好的满足实际任务的需求。
技术实现思路
为了克服已有无人机视觉导航降落系统的尺度变化适应力低、姿态解算能力差、扩展性不足的不足，本专利技术提供了一种尺度变化适应力高、姿态解算能力好、扩展性较好的基于多尺度标识物的无人机视觉导航降落系统。本专利技术解决其技术问题所采用的技术方案是：一种基于多尺度标识物的无人机视觉导航降落系统，所述系统包括多尺度标识物和导航系统，所述多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；通过directlineartransform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。进一步，所述坐标系标定模块中，在待降落区域布置标识物，建立地面标识物和无人机采集到的图像几何联系，定义以下坐标系：世界坐标系(w：Ow-WxWyWz)，相机坐标系(C：Oc-CxCyCz)，无人机坐标系(B：Ob-BxByBz)和图像坐标系(I：uv)；设定相机是垂直安装于无人机重心处，方向垂直朝下，因此相机坐标系和无人机坐标系经过之间的关系是固定的，坐标系之间通过旋转平移转化；在图像坐标系中，以图像左上角为原点建立u-v坐标系，图像坐标的(0，0)坐标是图片的左上角，x轴为图像矩形上面那条水平线，y轴为图像图像矩形左边那条垂直线。将相机的光轴与图像平面的焦点(也成为图像的主点principalpoint)，作为该坐标系的原点，一般位于图像中心；X轴平行于u轴，y轴平行于v轴，(u0，v0)代表o1在u-v坐标系下的坐标，u和v与x和y存在以下关系：u＝x+u0v＝y+v0相机坐标系以O为摄像机光心，Xc轴和Yc轴与图像坐标系x轴和y轴平行，Zc为主光轴，和图像平面垂直，交点为图像的主点o1，oo1位摄像机的焦距，fc＝(f/dx,f/dy)；世界坐标系中，设定标识物的几何中心点作为世界坐标系的(0,0,0)位置，假设空间点P在世界坐标系下的齐次坐标是(xw，yw，zw)，那么该点在相机坐标系下的齐次坐标是(xc，yc，zc)R为以相机坐标系为基准的旋转矩阵，T为以相机坐标系为基准的平移向量，将世界坐标系中的一个点，转化到相机坐标系中；通过以上关系表达图像平面[u,v]，相机坐标系和世界坐标系中间的关系，从而确定无人机在世界坐标系中的位置，完成导航降落。再进一步，所述导航系统采用MVC框架和ROS框架相结合，最顶层的视图层包含图像的显示模块和飞机姿态回传模块；模型层包装无人机的视觉伺服逻辑上的控制，将视觉感知信息转化为无人机控制器；控制层实现与无人机飞行控制器之间的交互，支持与Ardrone，Asctec和Pixhawk等飞控的通信；视觉算法层包括目标物识别算法和姿态结算算法。所述视觉算法层中，通过相机获取的图像作为输入，进行视觉处理把姿态位置信息交给逻辑控制层，然后根据不同的控制模型，输出给控制层实现无人机视觉自动控制；各层依附在ROS框架中，各层之间通信交互按照ROS的通信机制标准实现。本专利技术的有益效果主要表现在：克服了传统基于标识物导航问中尺度变化适应力低，姿态解算能力差，扩展性不足的问题，提升了导航降落的精度，使得无人机能够更好的完成实际的任务；标识物本身的扩展性强，适合根据不同的任务进行快速的改造。除了标识物算法之外，本专利技术同时实现了完整的无人机导航控制系统，可以匹配目前市面上大多数的民用无人机控制系统。附图说明图1是坐标系的示意图。图2是现有的各种标识物的示意图，该类标识物没有考虑尺度的变化。图3是现有的另一类标识物的示意图，该类标识物考虑了尺度的变化，只能进行2个或3个自由度的估计。图4是本专利技术的原始多尺度标识物图。图5是结合编码的标识物的示意图。图6是结合LED显示屏的标识物的示意图。图7是基于多尺度标识物的无人机视觉导航降落系统的原理框图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1～图7，一种基于多尺度标识物的无人机视觉导航降落系统，定义坐标系，在待降落区域布置了标识物，建立地面标识物和无人机采集到的图像几何联系，定义了以下坐标系。世界坐标系(w：Ow-WxWyWz)，相机坐标系(C：Oc-CxCyCz)，无人机坐标系(B：Ob-BxByBz)本文档来自技高网...

【技术保护点】
一种基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述系统包括多尺度标识物和导航系统，所述多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；通过direct linear transform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。

【技术特征摘要】
1.一种基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述系统包括多尺度标识物和导航系统，所述多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；通过directlineartransform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。2.如权利要求1所述的基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述坐标系标定模块中，在待降落区域布置标识物，建立地面标识物和无人机采集到的图像几何联系，定义以下坐标系：世界坐标系(w：Ow-WxWyWz)，相机坐标系(C：Oc-CxCyCz)，无人机坐标系(B：Ob-BxByBz)和图像坐标系(I：uv)；设定相机是垂直安装于无人机重心处，方向垂直朝下，因此相机坐标系和无人机坐标系经过之间的关系是固定的，坐标系之间通过旋转平移转化；在图像坐标系中，以图像左上角为原点建立u-v坐标系，图像坐标的(0，0)坐标是图片的左上角，x轴为图像矩形上面那条水平线，y轴为图像图像矩形左边那条垂直线，将相机的光轴与图像平面的焦点作为该坐标系的原点，位于图像中心；X轴平行于u轴，y轴平行于v轴，(u0，v0)代表o1在u-v坐标系下的坐标，u和v与x和y存在以下关系：u＝x+u0v＝y+v0相机坐标系以O为摄像机光心，Xc轴和Yc轴与图像坐标系x轴和y轴平行，Zc为主光轴，和图像平面垂直，交点为图像的主点o1，o...

【专利技术属性】
技术研发人员：谢榛，步青，贺亮，应高选，金玲，曹涛，
申请(专利权)人：杭州灵目科技有限公司，
类型：发明
国别省市：浙江,33