【技术实现步骤摘要】
本专利技术涉及无人机控制，特别涉及一种基于深度神经网络的手-脑融合控制无人机的方法和系统。
技术介绍
1、目前，无人机的发展，在一定程度上标志着一个国家的航空技术的革新和进步水平。小型无人机的控制方法仍然采用传统的遥控器控制，其缺点是，复杂性高，操作无人机的遥控器通常具有复杂的功能和按钮布局，对用户需要一定的学习和训练，尤其是对于初学者而言，可能存在一定的学习曲线。操作误差大，操作员的误操作可能导致无人机失控或发生意外，尤其是在高速飞行或复杂环境中，误操作的风险可能更大。因此，需要外部遥控设备，但是，通过外部遥控设备对无人机进行遥控操作时无法进行其他活动；且通过外部遥控设备实时性差，不能实时对无人机进行控制；且遥控设备控制复杂，需要专业的操作员进行控制等。此外，无人机控制需要适应一定的环境，要有很高抗风险性，所以现有的无人机遥控的控制方法无法满足不了现代化发展的需要。
技术实现思路
1、本专利技术提供一种基于深度神经网络的手-脑融合控制无人机的方法，用以解决现有的无人机控制方法需要通过外部的遥控设备进行控制，导致对无人机进行控制时复杂性高、操作误差大的问题，包括：
2、将采集的用户的脑电信号转化为飞行控制指令；
3、将采集的用户的手势信号转化为飞行状态指令；
4、根据所述飞行控制指令和所述飞行状态指令，利用多模态数据融合方法，生成无人机控制指令；
5、基于所述无人机控制指令，对无人机进行飞行控制。
6、可选的，所述将采集的
7、通过无线脑电帽采集用户的脑电信号，并将所述脑电信号转化为对应的数字信号；
8、对所述数字信号进行数据预处理，得到处理脑电数据；
9、根据所述处理脑电数据，利用预先构建的脑电信号识别模型，得到所述用户的脑电意图；
10、根据所述用户的脑电意图，生成飞行控制指令；
11、其中，所述数据预处理包括下述的一种或多种：数据滤波、数据去噪、数据增强和数据分割。
12、可选的，所述脑电信号识别模型包括如下的构建过程；
13、初始化所述脑电信号识别模型的网络参数；
14、以历史的处理脑电数据作为第一训练数据的输入；
15、以所述历史的处理脑电数据对应的脑电意图作为第一训练数据的输出；
16、基于所述第一训练数据的输入和输出，对transformer模型进行训练，并通过自适应学习率动量因子的梯度优化方法对所述transformer模型中的网络参数进行更新；
17、基于更新后的网络参数，对所述transformer模型进行更新，并通过计算更新后的transformer模型的交叉熵损失函数，采用反向传播算法对所述更新后的transformer模型中的网络参数进行调整，得到脑电信号识别模型。
18、可选的，所述将采集的用户的手势信号转化为飞行状态指令，包括：
19、通过无线脑电帽采集用户的手势图片数据，并对所述手势图片数据进行图像预处理，得到处理手势数据；
20、根据所述处理手势数据，利用预先构建的手势识别模型，得到手势意图；
21、根据所述手势意图，生成飞行状态指令；
22、其中，所述图形预处理包括：尺寸变换、数据增强和数据标准化。
23、可选的，所述飞行状态指令包括下述的一种或多种：飞行姿态、飞行速度和飞行方向。
24、可选的，所述手势识别模型的网络结构包括：
25、依次连接的初始化模块、残差模块、全连接模块和softmax分类模块；
26、其中，所述初始化模块包括依次连接的卷积层和池化层；
27、所述残差模块包括依次连接的第一残差层、第二残差层、第三残差层和第四残差层。
28、可选的，所述手势识别模型包括如下的构建过程：
29、初始化所述手势识别模型的网络参数；
30、以历史的处理手势数据作为第二训练数据的输入；
31、以所述历史的处理手势数据对应的手势意图作为第二训练数据的输出；
32、基于所述第二训练数据的输入和输出，对卷积神经网络进行训练，并通过adam梯度优化方法对所述卷积神经网络中的网络参数进行更新；
33、基于更新后的网络参数，对所述卷积神经网络进行更新，并通过计算更新后的卷积神经网络的交叉熵损失函数，采用反向传播算法对所述更新后的卷积神经网络中的网络参数进行调整，得到手势信号识别模型。
34、可选的，所述根据所述飞行控制指令和所述飞行状态指令，利用多模态数据融合方法，生成无人机控制指令，包括：
35、对所述飞行控制指令进行特征提取，得到飞行控制向量；
36、对所述飞行状态指令进行特征提取，得到飞行状态向量；
37、根据所述飞行控制向量和所述飞行状态向量，利用低秩多模态数据融合方法，将所述飞行控制向量和所述飞行状态向量进行数据融合，生成无人机控制指令。
38、基于同一专利技术构思，本专利技术提供一种基于深度神经网络的手-脑融合控制无人机的系统，包括：
39、控制指令转化模块：用于将采集的用户的脑电信号转化为飞行控制指令；
40、状态指令转化模块：用于将采集的用户的手势信号转化为飞行状态指令；
41、飞行指令生成模块：用于根据所述飞行控制指令和所述飞行状态指令，利用多模态数据融合方法，生成无人机控制指令；
42、无人机飞行控制模块：用于基于所述无人机控制指令，对无人机进行飞行控制。
43、可选的，所述控制指令转化模块，具体用于：
44、通过无线脑电帽采集用户的脑电信号，并将所述脑电信号转化为对应的数字信号；
45、对所述数字信号进行数据预处理，得到处理脑电数据；
46、根据所述处理脑电数据，利用预先构建的脑电信号识别模型，得到所述用户的脑电意图；
47、根据所述用户的脑电意图，生成飞行控制指令；
48、其中，所述数据预处理包括下述的一种或多种：数据滤波、数据去噪、数据增强和数据分割。
49、可选的，所述控制指令转化模块中的脑电信号识别模型包括如下的构建过程；
50、初始化所述脑电信号识别模型的网络参数；
51、以历史的处理脑电数据作为第一训练数据的输入；
52、以所述历史的处理脑电数据对应的脑电意图作为第一训练数据的输出；
53、基于所述第一训练数据的输入和输出，对transformer模型进行训练，并通过自适应学习率动量因子的梯度优化方法对所述transformer模型中的网络参数进行更新；
54、基于更新后的网络参数，对所述transformer模型进行更新，并通过计算更新后的transformer模型的交叉熵损失函数，采用反向传播算法对所述更本文档来自技高网...
【技术保护点】
1.一种基于深度神经网络的手-脑融合控制无人机的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述将采集的用户的脑电信号转化为飞行控制指令包括：
3.如权利要求2所述的方法，其特征在于，所述脑电信号识别模型包括如下的构建过程；
4.如权利要求1所述的方法，其特征在于，所述将采集的用户的手势信号转化为飞行状态指令，包括：
5.如权利要求4所述的方法，其特征在于，所述飞行状态指令包括下述的一种或多种：飞行姿态、飞行速度和飞行方向。
6.如权利要求4所述的方法，其特征在于，所述手势识别模型的网络结构包括：
7.如权利要求4所述的方法，其特征在于，所述手势识别模型包括如下的构建过程：
8.如权利要求1所述的方法，其特征在于，所述根据所述飞行控制指令和所述飞行状态指令，利用多模态数据融合方法，生成无人机控制指令，包括：
9.一种基于深度神经网络的手-脑融合控制无人机的系统，其特征在于，包括：
10.如权利要求9所述的系统，其特征在于，所述控制指令转化模块，具体用于
...【技术特征摘要】
1.一种基于深度神经网络的手-脑融合控制无人机的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述将采集的用户的脑电信号转化为飞行控制指令包括：
3.如权利要求2所述的方法，其特征在于，所述脑电信号识别模型包括如下的构建过程；
4.如权利要求1所述的方法，其特征在于，所述将采集的用户的手势信号转化为飞行状态指令，包括：
5.如权利要求4所述的方法，其特征在于，所述飞行状态指令包括下述的一种或多种：飞行姿态、飞行速度和飞行方向。...
【专利技术属性】
技术研发人员：姜月秋，白雪，吴嘉轩，刘博，张昕，杨威，
申请(专利权)人：沈阳理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。