基于视觉伺服的感知与规避方法及系统技术方案

本发明专利技术提供一种基于视觉伺服的感知与规避系统，包括无人机、图像采集系统、视觉伺服控制系统和导航定位系统，所述视觉伺服系统包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器。本发明专利技术还提供一种基于所述感知与规避系统的规避方法，本发明专利技术实现了对周围空域环境的快速感知，以及在不加装任何测距传感器且不需地面操作人员进行干预和操作的情况下，独立自主完成对空间飞行目标的规避机动；本发明专利技术载荷要求低、控制精度高、具有较高的智能性，能够提高无人机的空域飞行安全能力。

【技术实现步骤摘要】
基于视觉伺服的感知与规避方法及系统
本专利技术涉及无人机导航与控制领域，特别涉及一种基于视觉伺服的感知与规避方法及系统。
技术介绍
近来，随着军事应用与民用领域对无人机的需求日益强烈，加上我国民用空域领域的进一步开放，未来空域将呈现多种类型功能的无人机、有人机进行空域共享和集成的局面，空域将日趋密集。在此情况下，无人机感知与规避(SenseandAvoid，即SAA)能力将成为进入空域飞行、保障无人机飞行安全的先决条件。无人机感知与规避是指无人机利用机载传感器或地面监视系统完成对空域飞行环境的监视和飞行目标的状态获取，对潜在碰撞威胁的目标进行规避路径规划，完成规避机动动作，从而保证无人机的航路飞行安全。SAA技术是目前无人机
亟待解决的关键技术难题。2013年，在美国FAA(FederalAviationAdministration)发布的无人机系统空域集成路线图中，明确提出SAA能力是无人机进行国家空域飞行的必备能力。其主要功能分为：目标检测与跟踪、碰撞威胁估计、规避路径规划、规避机动。无人机机载SAA传感器包括T-CAS，ADS-B、雷达、激光雷达、光电、红外传感器等。其中，光电传感器作为对非合作目标非常重要和有效感知与规避手段，特别是在轻小型无人机系统载荷、任务、成本有限，无法搭载大型感知设备如雷达、激光雷达等情况下，基于光电传感器的视觉SAA系统在质量、功耗、成本方面的优势使其更易在轻小型系统集成和应用；视觉SAA被动式感知的特点适用于战场环境、隐身任务等特定任务场合；且与ADS-B、TCAS等相比，视觉SAA不依靠应答机制，不需要地面控制信息和卫星定位信息，即能够提供对非合作目标独立的感知与规避能力。因此，研究基于光电传感器的视觉SAA系统具有重要意义。
技术实现思路
本专利技术的目的在于提供一种基于视觉伺服的感知与规避方法及系统，以解决现有传感器体积大、功耗较大，不利于在轻小型无人机系统中的集成应用的问题，并且本专利技术能够实现对周围空域环境的快速感知，通过角度安全包络建立视觉反馈控制模型，控制无人机完成对空域目标的感知与规避。本专利技术提供一种基于视觉伺服的感知与规避系统，包括：无人机，所述无人机上设置自动驾驶仪，所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作；图像采集系统，搭载在所述无人机上，用于采集无人机的飞行空域图像信息，采用多相机多视角集中式阵列构型，并通过相机接口实时传输图像信息；视觉伺服控制系统，设置在所述无人机上，包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器，视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪，安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成，并基于该安全包络生成图像规避角度，以此角度输入至视觉伺服控制器，视觉伺服控制器输出规避机动角度，并将该角度通过串口传输至自动驾驶仪完成规避动作；导航定位系统，设置在所述无人机上，用于建立航路回归机制，导航定位系统检测到无人机不在航路且不存在威胁时，进行航路回归，使无人机返回原始航路。作为一种优选方式，本专利技术中所述视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168。本专利技术还提供一种基于视觉伺服的感知与规避系统的规避方法，包括：步骤一，通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖，获取无人机的飞行空域图像信息；步骤二，机载视觉伺服控制系统中视觉目标检测与跟踪模块接收步骤一中图像信息并进行处理，完成对空域图像中飞行目标的检测、定位和跟踪；步骤三，根据步骤二中获取的飞行目标状态信息，视觉伺服控制系统中安全包络模块进行图像平面角度安全包络生成，通过安全包络确定无人机是否存在碰撞威胁，针对碰撞威胁，计算得到图像意义下的规避角度；步骤四，将步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器，视觉伺服器输出需要的规避机动俯仰和偏航角度，并传送至无人机自动驾驶仪完成规避机动；步骤五，利用导航定位系统建立航路回归机制，当无人机不存在威胁时，使无人机返回原始航路。作为一种优选方式，所述步骤二的具体实现方法如下：步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控制系统中视觉目标检测与跟踪模块，其中图像采集系统中共设置A、B、C三台相机，视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168，利用DM8168实现对获取的多路视频进行处理，通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信息pk＝[pxk,pyk]，获得目标相对于该相机的相对角度：其中，w和h分别是以像素为单位的图像的宽度和高度，f为相机镜头焦距，μ为象元尺寸；根据相机安装位置，可获得目标k时刻相对于无人机的相对角度为Θk＝[σk,γk]，其中γk＝γ′式中分别表示检测到的目标来自于图像采集系统中的相机A、相机B和相机C；根据前后时刻的角度变化确定目标的角速度Ωk＝[ωxk,ωyk]＝Θk+1-Θk,k>0。作为另一种优选方式，所述步骤三中安全包络的生成步骤及规避角度的计算步骤包括：①建立目标安全包络圆，圆心为目标点，选取一个半径初始值，并以固定速度进行增长；②根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点，椭圆短轴的长度与包络圆的半径相等，椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和，长轴方向平行于目标的运动方向；③前述生成的包络圆和包络椭圆形成平面角度安全包络，该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成；④基于前述平面角度安全包络进行目标威胁估计，建立基于安全包络的威胁标示函数，以此判断是否存在碰撞威胁；⑤根据最小规避距离原则，在平面角度安全包络寻找距离初始目标最近的点。特别地，所述步骤三中安全包络的具体生成步骤及规避角度的具体计算步骤如下：①建立目标安全包络圆，圆心选为目标k时刻相对于无人机的相对角度位置Θk=[σk，γk]，选取一个半径初始值r0，并以固定速度进行增长，则rk+1＝rk+ε,k＝1,2,3…rk＝r0,k＝0其中ε是固定增长速度，rk+1代表k+1时刻的安全包络圆半径；②根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点Θk＝[σk,γk]，长轴方向平行于目标的运动方向，即目标角速度Ωk的方向，长轴和短轴的长度分别按下列公式选取：a＝rk(1+α‖Ωk‖)，b＝rk，式中，a和b分别代表包络椭圆的长轴和短轴，rk为k时刻包络圆的半径，α为角速度转化为轴长的比例因子，该因子代表规避预留时间，‖Ωk‖为目标运动角速度向量的模；③前述生成的包络圆和包络椭圆形成平面角度安全包络，该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成；④基于前述平面角度安全包络进行目标威胁估计，建立基于时间k的威胁标示函数lk，当lk<0时，认为存在碰撞威胁，以此判断是否存在碰撞威胁，其中其中表示相机B的主轴方向相对于无人机主轴方向的角度，通常可认为是符号函数；⑤当lk<0时，根据最小规避距离原则，在平面角度安全包络寻找距离最近的点s*＝[σ*,γ*]作为最小规避机动点：其中代表k时刻垂直于目标角速度向量的单位向量。作为本文档来自技高网...

【技术保护点】
一种基于视觉伺服的感知与规避系统，其特征在于，包括：无人机，所述无人机上设置自动驾驶仪，所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作；图像采集系统，搭载在所述无人机上，用于采集无人机的飞行空域图像信息，采用多相机多视角集中式阵列构型，并通过相机接口实时传输图像信息；视觉伺服控制系统，设置在所述无人机上，包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器，视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪，安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成，并基于该安全包络生成图像规避角度，以此角度输入至视觉伺服控制器，视觉伺服控制器输出规避机动角度，并将该角度通过串口传输至自动驾驶仪完成规避动作；导航定位系统，设置在所述无人机上，用于建立航路回归机制，导航定位系统检测到无人机不在航路且不存在威胁时，进行航路回归，使无人机返回原始航路。

【技术特征摘要】
1.一种基于视觉伺服的感知与规避系统，其特征在于，包括：无人机，所述无人机上设置自动驾驶仪，所述自动驾驶仪接收飞行控制指令进行飞行并完成无人机对障碍物的规避动作；图像采集系统，搭载在所述无人机上，用于采集无人机的飞行空域图像信息，采用多相机多视角集中式阵列构型，并通过相机接口实时传输图像信息；视觉伺服控制系统，设置在所述无人机上，包括视觉目标检测与跟踪模块、安全包络模块和视觉伺服控制器，视觉目标检测与跟踪模块接收图像采集系统传输的图像信息并实现对图像中飞行目标的检测、定位和跟踪，安全包络模块根据获取的目标状态信息进行图像平面角度安全包络的生成，并基于该安全包络生成图像规避角度，以此角度输入至视觉伺服控制器，视觉伺服控制器输出规避机动角度，并将该角度通过串口传输至自动驾驶仪完成规避动作；导航定位系统，设置在所述无人机上，用于建立航路回归机制，导航定位系统检测到无人机不在航路且不存在威胁时，进行航路回归，使无人机返回原始航路。2.根据权利要求1所述的基于视觉伺服的感知与规避系统，其特征在于，所述视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168。3.一种基于视觉伺服的感知与规避系统的规避方法，其特征在于，包括：步骤一，通过无人机机载图像采集系统实现对飞行视场角内的空域的完全覆盖，获取无人机的飞行空域图像信息；步骤二，机载视觉伺服控制系统中视觉目标检测与跟踪模块接收所述步骤一中图像信息并进行处理，完成对空域图像中飞行目标的检测、定位和跟踪；所述步骤二的具体实现方法如下：所述步骤一中图像采集系统获取的图像数据通过相机数据线传送至机载视觉伺服控制系统中视觉目标检测与跟踪模块，其中图像采集系统中共设置A、B、C三台相机，视觉目标检测与跟踪模块采用多路高清图像处理平台DM8168，利用DM8168实现对获取的多路视频进行处理，通过检测算法获取目标k时刻在图像采集系统中某一相机图像平面的位置信息pk＝[pxk,pyk]，获得目标相对于该相机的相对角度：其中，w和h分别是以像素为单位的图像的宽度和高度，f为相机镜头焦距，μ为象元尺寸；根据相机安装位置，可获得目标k时刻相对于无人机的相对角度为Θk＝[σk,γk]，其中γk＝γ′式中分别表示检测到的目标来自于图像采集系统中的相机A、相机B和相机C；根据前后时刻的角度变化确定目标的角速度Ωk＝[ωxk,ωyk]＝Θk+1-Θk,k>0；步骤三，根据所述步骤二中获取的飞行目标状态信息，视觉伺服控制系统中安全包络模块进行图像平面角度安全包络生成，通过安全包络确定无人机是否存在碰撞威胁，针对碰撞威胁，计算得到图像意义下的规避角度；步骤四，将所述步骤三中的规避角度输入视觉伺服控制系统中的视觉伺服器，视觉伺服器输出需要的规避机动俯仰和偏航角度，并传送至无人机自动驾驶仪完成规避机动；步骤五，利用导航定位系统建立航路回归机制，当无人机不存在威胁时，使无人机返回原始航路。4.根据权利要求3所述的规避方法，其特征在于，所述步骤三中安全包络的生成步骤及规避角度的计算步骤包括：①建立目标安全包络圆，圆心为目标点，选取一个半径初始值，并以固定速度进行增长；②根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点，椭圆短轴的长度与包络圆的半径相等，椭圆长轴的长度为短轴的长度与目标在当前角速度下在预留时间内的外推长度之和，长轴方向平行于目标的运动方向；③前述生成的包络圆和包络椭圆形成平面角度安全包络，该安全包络由以椭圆短轴为分割线的沿目标运动方向的半椭圆与沿目标运动反方向的半圆组成；④基于前述平面角度安全包络进行目标威胁估计，建立基于安全包络的威胁标示函数，以此判断是否存在碰撞威胁；⑤根据最小规避距离原则，在平面角度安全包络寻找距离初始目标最近的点。5.根据权利要求4所述的规避方法，其特征在于，所述步骤三中安全包络的具体生成步骤及规避角度的具体计算步骤如下：①建立目标安全包络圆，圆心选为目标k时刻相对于无人机的相对角度位置Θk＝[σk,γk]，选取一个半径初始值r0，并以固定速度进行增长，则rk+1＝rk+ε,k＝1,2,3…rk＝r0,k＝0其中ε是安全包络圆半径的固定增长长度，rk+1代表k+1时刻的安全包络圆半径；②根据目标尺寸建立安全包络椭圆，椭圆圆心为目标点Θk＝[σk,γk]，长轴方向平行于目标的运动方向，即目标角速度Ωk的方向，长轴和短轴的长度分别按下列公式选取：a＝rk(1+α‖Ωk‖)，b＝rk，式中，a和b分别代表包络椭圆的长轴和短轴，rk为k时刻包络圆的半径，α为角速度转化为...

【专利技术属性】
技术研发人员：吕洋，潘泉，赵春晖，张夷斋，刘流，席庆彪，刘慧霞，吴薇，朱海峰，程承，康青青，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61