基于数字孪生技术的旋翼无人机自主降落控制系统技术方案

本发明专利技术涉及数字孪生技术和无人机飞行控制技术领域，尤其涉及一种基于数字孪生技术的旋翼无人机自主降落控制系统，整个控制系统主要包括虚拟空间、物理空间和服务中心三部分，虚拟空间主要是进行孪生无人机自主降落的虚拟训练，物理空间主要是进行物理无人机自主降落的现实训练，服务中心在整个过程中起到远程控制和监督的作用。无人机的精准降落基于一种合作标识，它由ArUco码与分级标识结合而成，分布四周的ArUco码在方向上对无人机起到一个引导作用，位于中心位置的分级标识，可以解决无人机在下降过程中丢失目标的情况。本发明专利技术可以实现通过孪生无人机与物理无人机数据的实时交互，从而实现无人机更为精准、更为安全。更为安全。更为安全。

【技术实现步骤摘要】
基于数字孪生技术的旋翼无人机自主降落控制系统


[0001]本专利技术涉及数字孪生技术和无人机飞行控制
，尤其涉及一种基于数字孪生技术的旋翼无人机自主降落控制系统。

技术介绍

[0002]数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。即通过建立物理世界和数字世界之间精准映射、实时反馈机制，从而实现物理世界与数字世界互联、互通、互操作，构建起虚拟世界对物理世界描述、诊断、预测和决策新体系，并优化物理世界资源配置效率。换句话说，数字孪生就是对真实存在的物理系统的一个虚拟复制品，虚拟体和物理实体之间通过数据交换建立联系，通过这种联系，可以监测实体的实时动态。
[0003]无人机的自主降落技术越来越多的被应用到商业、民用和军事等领域。由于GPS的精度太低，无人机在降落过程中偏差太大。因此，目前很多无人机的精准降落都用到了视觉传感器。采用视觉传感器可以实现无人机位置、姿态等参数的高精度测量和计算，从而实现更加精准的降落。同时，采用视觉传感器进行降落抗干扰能力更强，可以在复杂环境下进行测量和计算，从而提高了无人机降落的可靠性和稳定性。

技术实现思路

[0004]本专利技术公开一种基于数字孪生技术的旋翼无人机自主降落控制系统，实现将数字孪生技术应用到无人机的自主降落过程中，构建了虚拟世界对物理世界的描述，实现了孪生无人机与物理无人机的双向映射、实时交互，提高了无人机自主降落的精度以及成功率。
[0005]为了实现本专利技术的目的，所采用的技术方案是：基于数字孪生技术的旋翼无人机自主降落控制系统，包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、USB单目相机、RTK定位系统和板载计算机，控制策略包括控制方法和合作标识，所述的控制方法包括水平方向控制和垂直方向控制，双目追踪相机与RTK定位系统相结合将无人机引导至合作标识上方，USB单目相机用来锁定合作标识的中心位置实现精准降落，所述的服务中心包括地面信息系统和无人机相机，所述的地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。
[0006]作为本专利技术的优化方案，合作标识包括分级标识和ArUco码，所述的分级标识位于自主降落合作标识的中心位置，所述的分级标识用于引导无人机的精准降落；所述的ArUco码分布在分级标识的四周，所述的ArUco码用于对无人机在四个方位上进行引导。
[0007]作为本专利技术的优化方案，ArUco码的识别步骤为：
[0008]1）将图像加载并转换成灰度图像；
[0009]2）自适应二值化使用Otsu算法处理不同光照条件下的图像；
[0010]3）通过形态学处理去除图像的噪声；
[0011]4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的Canny算法，Canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用Soble算子来检测图像中的边缘；
[0012]5）使用极大值抑制和双阈值分割来提取出边缘轮廓；
[0013]6）四边形筛选方法采用Harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；
[0014]7）透视变换将合作标识上的点转换成相机成像的像素点；
[0015]8）识别ArUco码中的ID，完成ArUco码的识别。
[0016]作为本专利技术的优化方案，虚拟空间主要包括ROS系统与UnrealEngine4引擎，UnrealEngine4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ROS系统中结合Python/OpenCV进行控制无人机视觉算法的开发，并在ROS系统中的Gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到Rflysim平台上，连接好飞行控制器与遥控器，进行硬件在环仿真实验后再进行无人机实体机实验。
[0017]作为本专利技术的优化方案，无人机在垂直方向控制中采用ADRC控制器，ADRC控制器包括跟踪微分器TD、非线性状态误差反馈控制率NLSEF和扩张状态观测器ESO，跟踪微分器TD从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器TD中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率NLSEF的输入是将跟踪微分器TD分解得到的期望值和扩张状态观测器ESO得到的观测值作差得到系统的状态误差，扩张状态观测器ESO是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。
[0018]作为本专利技术的优化方案，无人机在水平方向控制采用串级PID控制器，内环为角速度环，外环为角度环，角度环对应的控制器如式（1）所示：
[0019]（1）；
[0020]其中，θ为俯仰角，φ为横滚角，ψ为偏航角，Kp、Ki、Kd分别为对应姿态角的PID控制参数，、、是姿态角PID控制器的输出也是角速度PID控制器的参考输入；
[0021]角速度环对应的控制器如式（2）所示，其中U1为横滚力矩，U2为俯仰力矩，U3为偏航力矩。
[0022]（2）；
[0023]作为本专利技术的优化方案，在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标的位置，计算位置时包括五个层次的坐标系，分别是：A为像素坐标系O(u，v)、B为像平面坐标系Os(x，y)、C为相机坐标系
Oc
(
Xc
，
Yc
，
Zc
)、D为目标体坐标系
Ow
(
Xw
，
Yw
，
Zw
)、E为无人机机体坐标系
Ob
(
Xb
，
Yb
，
Zb
)；
[0024]像素坐标系和像平面坐标系之间的转换关系为：
[0025]；
[0026]其中：像素坐标中像平面坐标系原点Os的坐标为(u0，v0)，每个像素感光大小为dx和dy；
[0027]图像点P的像平面坐标系Os(x，y)和物体点P的相机坐标系
Oc
(
Xc
，
Yc
，
Zc
)之间的关系为：
[0028]；
[0029]其中：f为相机的焦距；
[0030]像素坐标系O(u，v)和相机坐标系
Oc
(
Xc
，
Yc
，
Zc
)之间的关系为：
[0031]；
[0032]其中：，，dx=du，dy=dv，由中间量组成的矩阵称为相机K的内
参考矩阵。
[0033]作为本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、USB单目相机、RTK定位系统和板载计算机，控制策略包括控制方法和合作标识，所述的控制方法包括水平方向控制和垂直方向控制，双目追踪相机与RTK定位系统相结合将无人机引导至合作标识上方，USB单目相机用来锁定合作标识的中心位置实现精准降落，所述的服务中心包括地面信息系统和无人机相机，所述的地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。2.根据权利要求1所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：合作标识包括分级标识和ArUco码，所述的分级标识位于自主降落合作标识的中心位置，所述的分级标识用于引导无人机的精准降落；所述的ArUco码分布在分级标识的四周，所述的ArUco码用于对无人机在四个方位上进行引导。3.根据权利要求2所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：ArUco码的识别步骤为：1）将图像加载并转换成灰度图像；2）自适应二值化使用Otsu算法处理不同光照条件下的图像；3）通过形态学处理去除图像的噪声；4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的Canny算法，Canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用Soble算子来检测图像中的边缘；5）使用极大值抑制和双阈值分割来提取出边缘轮廓；6）四边形筛选方法采用Harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；7）透视变换将合作标识上的点转换成相机成像的像素点；8）识别ArUco码中的ID，完成ArUco码的识别。4.根据权利要求2所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：虚拟空间主要包括ROS系统与Unreal Engine 4引擎，Unreal Engine 4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ROS系统中结合Python/OpenCV进行控制无人机视觉算法的开发，并在ROS系统中的Gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到Rflysim平台上，连接好飞行控制器与遥控器，进行硬件在环仿真实验后再进行无人机实体机实验。5.根据权利要求4所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：无人机在垂直方向控制中采用ADRC控制器，ADRC控制器包括跟踪微分器TD、非线性状态误差反馈控制率NLSEF和扩张状态观测器ESO，跟踪微分器TD从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器TD中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率NLSEF的输入是将跟踪微分器TD分解得到的期望值和扩张状态观测器ESO得到的观测值作差得到系统的状态误差，扩张状态观测器ESO是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。6.根据权利要求5所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征
在于：无人机在水平方向控制采用串级PID控制器，内环为角速度环，外环为角度环，角度环对应的控制器如式（1）所示：（1）；其中，θ为俯仰角，φ为横滚角，ψ为偏航角，Kp、Ki、Kd分别为对应姿态角的PID控制参数，、、是姿态角PID控制器的输出也是角速度PID控制器的参考输入；角速度环对应的控制器如式（2）所示，其中U1为横滚力矩，U2为俯仰力矩，U3为偏航力矩；（2）。7.根据权利要求6所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标...

【专利技术属性】
技术研发人员：姚娟，宋连港，林鸿，蔡晨晓，程鹏，严兵，马冲，吴琪，邹云，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：