【技术实现步骤摘要】
本专利技术涉及到无人机控制领域，具体涉及一种混合现实无人机飞行控制装置及方法。
技术介绍
1、传统的无人机操作方法主要通过遥控器、摇杆等设备实现，操作过程比较复杂，且对无人机初学者而言不够友好。近年来，随着人机交互技术的不断发展，基于手势识别进行无人机控制的方法逐渐进入研究者的视野中。但这种方法往往缺乏手势、无人机以及用户之间的交互，如用户通过手势动作控制无人机过程中，无人机的反馈信号仅通过无人机的大致飞行方位反馈给用户，用户只能通过视觉估计的方法评估手势执行是否正确。在这种情况下，面向混合现实的无人机飞行控制方法提供了一种新的思路。
技术实现思路
1、本专利技术的目的在于提供一种面向混合现实的手势控制无人机飞行装置及方法，解决现有无人机飞行控制过程中反馈信息不足，错误指令更改难等交互问题；结合穿戴式装置，利用姿态解算算法进行手势识别，可减少计算资源开销，且摆脱了传统无人机遥控器的限制，用户能够更加直观、便捷地实现无人机控制，获得更加友好、沉浸的交互体验。
2、为了解决上述技术问题，本专利技术实施例第一方面公开了一种面向混合现实手势控制无人机飞行装置，装置包括：
3、姿态数据获取单元、混合现实显控单元和无人机控制执行单元；
4、所述姿态数据获取单元，包括手套、惯性测量单元模块、姿态解算模块和单向通信模块；所述姿态数据获取单元用于获取和处理用户手部运动数据信息，生成姿态解算数据，并将所述姿态解算数据发送至混合现实显控单元；所述惯性测量单元模块、姿态
5、所述混合现实显控单元，包括vr眼镜、相机模块、屏幕显示模块、控制指令计算模块、反馈信号处理模块和第一双向通信模块；所述混合现实显控单元用于实时收集和显示飞行环境数据信息，接收和处理所述姿态解算数据，获取、显示飞行控制指令，并将所述飞行控制指令发送至所述无人机控制执行单元，接收、处理和显示飞行状态信息；
6、所述飞行环境信息，为用户所处位置的外界环境场景信息；
7、所述无人机控制执行单元，设置在无人机上，包括控制执行模块、飞行信号生成模块和第二双向通信模块；所述控制执行模块，用于控制无人机执行所述飞行控制指令；所述飞行信号生成模块，用于将所述无人机控制指令转换成飞行状态信息；所述第二双向通信模块，用于接收所述混合现实显控单元发送的所述飞行控制指令，并向所述混合现实显控单元发送飞行状态信息。
8、作为一种可选的实施方式，所述惯性测量单元模块，包括加速度计、陀螺仪和磁力计，设置在所述手套的手指和手背上；所述加速度计用于获取用户手部运动的加速度值，所述陀螺仪用于获取用户手部运动的角速度值，所述磁力计用于获取用户手部运动的磁力值；
9、所述姿态解算模块，设置在所述手套的手背上，用于对所述加速度值、角速度值和磁力值进行加权处理，得到姿态解算数据；
10、所述单向通信模块，设置在所述手套的手背上，用于传输所述姿态解算数据。
11、作为一种可选的实施方式，所述vr眼镜采用穿戴式，包括镜体和固定带，所述镜体用于固定所述相机模块、屏幕显示模块、控制指令计算模块、反馈信号处理模块和第一双向通信模块；
12、所述相机模块设置在所述vr眼镜镜体的中心上方位置，用于实时收集所述环境信息；
13、所述屏幕显示模块为人机交互界面，设置在所述vr眼镜镜体的中央位置，用于实时显示飞行控制指令及飞行状态信息；
14、所述控制指令计算模块，设置在所述vr眼镜镜体的左侧位置，用于处理所述姿态解算数据，得到飞行控制指令；
15、所述反馈信号处理模块，设置在所述vr眼镜镜体的左侧位置，用于处理飞行状态信息，并向所述屏幕显示模块发送飞行状态信息；
16、所述第一双向通信模块，设置在所述vr眼镜镜体的左侧位置，用于接收所述姿态解算数据和飞行状态信息，向所述无人机控制执行单元发送飞行控制指令。
17、本专利技术实施例第二方面公开了一种混合现实无人机飞行控制方法，包括：
18、s1，利用所述姿态数据获取单元，采集所述用户手部运动数据，得到手部运动数据信息；
19、利用所述混合现实显控单元，采集所述环境信息，得到飞行环境数据信息；
20、s2，利用姿态解算算法模型，对所述手部运动数据信息进行处理，得到手势姿态解算数据值；
21、s3，将所述手势姿态解算数据值，发送至所述混合现实显控单元，并利用姿态数据转换算法，对所述手势姿态解算数据值进行转换，得到所述飞行控制指令；
22、s4，利用所述第一双向通信模块，将所述飞行控制指令传输至所述无人机控制执行单元；
23、s5，所述无人机控制执行单元，根据所述飞行控制指令，控制无人机执行飞行任务，利用所述无人机的传感器系统，得到所述无人机实时飞行状态信息；
24、s6，利用无人机控制执行单元，将所述无人机实时飞行状态信息发送至所述混合现实显控单元；
25、s7，利用所述混合现实显控单元，对所述无人机实时飞行状态信息和所述飞行环境数据信息进行处理，得到无人机实时飞行状态实景信息，并在所述混合现实显控单元显示；
26、s8，利用所述无人机控制执行单元，判断所述无人机实时飞行状态实景信息对应的飞行任务是否完成，得到飞行任务判断结果；
27、如果飞行任务判断结果为是时，无人机结束飞行任务；
28、如果飞行任务判断结果为否时，执行s1。
29、作为一种可选的实施方式，在本专利技术实施例第二方面中，所述利用姿态解算算法模型，对所述手部运动数据信息进行处理，得到所述手势姿态解算数据值，包括：
30、s21，利用角速度解算模型，对所述角速度值进行处理，得到角速度姿态信息；
31、所述角速度解算模型表达式为：
32、
33、其中，qw，t-1为t-1计算出的角速度姿态值；ωt为当前时刻t的角速度四元数，ωt-1为前一时刻t-1的角速度四元数，w＝[0 ωxωyωz]，其中，ωx为陀螺仪x轴的角速度测量值，ωy为陀螺仪y轴的角速度测量值，ωz为陀螺仪z轴的角速度测量值；δt为采样时间间隔；qw，t为t时刻陀螺仪解算出的角速度姿态值；
34、s22，利用加速度磁力解算模型，对所述加速度值、磁力值进行处理，得到加速度磁力姿态信息；
35、所述加速度磁力解算模型表达式为：
36、
37、其中，为t-1时刻的加速度磁力姿态值，为加速度磁力四元数需要修正的梯度，μt为步长，为t时刻的加速度磁力姿态值，y为加速度值和磁力值虚部向量，yt为归一化后的加速度值和磁力值虚部向量；
38、s23，利用姿态四元数计算模型，对所述角速度姿态值和加速度磁力姿态值进行处理，得到所述手势姿态解算数据值；
39、本文档来自技高网...
【技术保护点】
1.一种混合现实无人机飞行控制装置，其特征在于，包括：姿态数据获取单元、混合现实显控单元和无人机控制执行单元；
2.根据权利要求1所述的混合现实无人机飞行控制装置，其特征在于，所述惯性测量单元模块，包括加速度计、陀螺仪和磁力计，设置在所述手套的手指和手背上；所述加速度计用于获取用户手部运动的加速度值，所述陀螺仪用于获取用户手部运动的角速度值，所述磁力计用于获取用户手部运动的磁力值；
3.根据权利要求1所述的混合现实无人机飞行控制装置，其特征在于，所述VR眼镜采用穿戴式，包括镜体和固定带，所述镜体用于固定所述相机模块、屏幕显示模块、控制指令计算模块、反馈信号处理模块和第一双向通信模块；
4.一种混合现实无人机飞行控制方法，其特征在于，应用于权利要求1～3任一项所述的混合现实无人机飞行控制装置，包括：
5.根据权利要求4所述的混合现实无人机飞行控制方法，其特征在于，所述利用姿态解算算法模型，对所述手部运动数据信息进行处理，得到所述手势姿态解算数据值，包括：
6.根据权利要求4所述的混合现实无人机飞行控制方法，其特征在于，所述
7.根据权利要求4所述的混合现实无人机飞行控制方法，其特征在于，所述利用所述混合现实显控单元，对所述无人机实时飞行状态信息和所述飞行环境数据信息进行处理，得到无人机实时飞行状态实景信息，包括：
8.根据权利要求6所述的混合现实无人机飞行控制方法，其特征在于，所述控制指令计算模块利用指令生成算法对所述目标横滚角、目标俯仰角和目标偏航角进行解算，得到对应的飞行控制指令，包括：
9.根据权利要求4所述的混合现实无人机飞行控制方法，其特征在于，所述无人机控制执行单元，根据所述飞行控制指令控制无人机执行飞行任务，利用所述无人机的传感器系统，得到所述无人机实时飞行状态信息，包括：
10.根据权利要求5所述的混合现实无人机飞行控制方法，其特征在于，所述利用所述无人机控制执行单元，对所述无人机实时飞行状态信息是否完成飞行任务进行判断，包括：
...【技术特征摘要】
1.一种混合现实无人机飞行控制装置，其特征在于，包括：姿态数据获取单元、混合现实显控单元和无人机控制执行单元；
2.根据权利要求1所述的混合现实无人机飞行控制装置，其特征在于，所述惯性测量单元模块，包括加速度计、陀螺仪和磁力计，设置在所述手套的手指和手背上；所述加速度计用于获取用户手部运动的加速度值，所述陀螺仪用于获取用户手部运动的角速度值，所述磁力计用于获取用户手部运动的磁力值；
3.根据权利要求1所述的混合现实无人机飞行控制装置，其特征在于，所述vr眼镜采用穿戴式，包括镜体和固定带，所述镜体用于固定所述相机模块、屏幕显示模块、控制指令计算模块、反馈信号处理模块和第一双向通信模块；
4.一种混合现实无人机飞行控制方法，其特征在于，应用于权利要求1～3任一项所述的混合现实无人机飞行控制装置，包括：
5.根据权利要求4所述的混合现实无人机飞行控制方法，其特征在于，所述利用姿态解算算法模型，对所述手部运动数据信息进行处理，得到所述手势姿态解算数据值，包括：
6.根...
【专利技术属性】
技术研发人员：闫野，张皓洋，张卜元，施忠臣，陈伟，谢良，白晓伟，罗治国，印二威，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。