【技术实现步骤摘要】
本专利技术涉及自动驾驶，尤其是涉及一种无人机自动驾驶方法及系统、介质、设备。
技术介绍
1、目前自动驾驶模型普遍采用模块化的方法，但这种方法存在诸多弊端。它高度依赖人工工程，涉及繁琐的单个模块标注与跨模块配置工作。面对新环境或新任务，这种方法需要重新人为设计并进行算法升级，导致迁移性差，难以适应通用人工智能的发展要求。
技术实现思路
1、针对以上至少一个技术问题，本专利技术实施例提供一种无人机自动驾驶方法及系统、介质、设备。
2、根据第一方面，本专利技术实施例提供的人机自动驾驶方法包括：
3、采集多模态的驾驶环境信息；
4、从所述驾驶环境信息进行编码，得到适用于世界模型的多模态输入特征；
5、将所述多模态输入特征输入至所述世界模型中，得到驾驶环境动力学信息；
6、将所述驾驶环境动力学信息输入至类脑神经回路网络中，得到无人机自动驾驶控制信息；
7、根据所述无人机自动驾驶控制信息，对无人机进行自动驾驶控制。
8、在一个实施例中，所述采集多模态的驾驶环境信息，包括：
9、通过无人机相机采集驾驶环境的图像数据；
10、通过多种传感器采集驾驶环境中的风速数据和声波数据。
11、在一个实施例中，所述从所述驾驶环境信息进行编码，得到适用于世界模型的多模态输入特征，包括：
12、通过深度残差网络从所述图像数据提取出驾驶环境特征，并对所述驾驶环境特征进行编码，得到所述驾
13、对所述风速数据进行编码，得到所述驾驶环境的风速特征；
14、对所述声波数据进行编码，得到所述驾驶环境的声波特征；
15、将所述图像特征、所述风速特征和所述声波特征组合形成所述多模态输入特征。
16、在一个实施例中，所述方法还包括：
17、将所述驾驶环境动力学信息输入至预先训练的卷积神经网络预测模型中，得到在未来预设时间内多模态的驾驶环境预测信息；
18、根据所述驾驶环境预测信息，对无人机的自动驾驶过程进行调整。
19、在一个实施例中，所述方法还包括：
20、将所述驾驶环境动力学信息输入至预先训练的卷积神经网络检测模型中，得到所述驾驶环境中是否存在预设目标的检测结果；
21、根据所述检测结果得知存在所述预设目标，对无人机在自动驾驶过程中进行预设动作的控制；其中，所述预设动作为针对所述预设目标而采取的动作。
22、在一个实施例中，所述类脑神经回路网络为预先模拟果蝇神经系统而建立的网络模型。
23、在一个实施例中，所述世界模型具体为通过所述多模态输入特征和所述驾驶环境动力学信息拟合环境动力学后验分布信息和环境动力学先验信息，并以所述环境动力学后验分布信息与所述环境动力学先验信息之间的差距最小化为训练目标而训练得到的模型。
24、根据第二方面，本专利技术实施例提供的无人机自动驾驶系统包括：
25、信息采集模块，用于采集多模态的驾驶环境信息；
26、信息编码模块，用于从所述驾驶环境信息进行编码，得到适用于世界模型的多模态输入特征；
27、第一输入模块，用于将所述多模态输入特征输入至所述世界模型中，得到驾驶环境动力学信息；
28、第二输入模块，用于将所述驾驶环境动力学信息输入至类脑神经回路网络中，得到无人机自动驾驶控制信息；
29、驾驶控制模块，用于根据所述无人机自动驾驶控制信息，对无人机进行自动驾驶控制。
30、在一个实施例中，所述信息采集模块具体用于：通过无人机相机采集驾驶环境的图像数据；通过多种传感器采集驾驶环境中的风速数据和声波数据。
31、在一个实施例中，所述信息编码模块具体用于：通过深度残差网络从所述图像数据提取出驾驶环境特征，并对所述驾驶环境特征进行编码，得到所述驾驶环境对应的图像特征；对所述风速数据进行编码，得到所述驾驶环境的风速特征；对所述声波数据进行编码，得到所述驾驶环境的声波特征；将所述图像特征、所述风速特征和所述声波特征组合形成所述多模态输入特征。
32、在一个实施例中，所述系统还可以包括：
33、环境预测模块，用于：将所述驾驶环境动力学信息输入至预先训练的卷积神经网络预测模型中，得到在未来预设时间内多模态的驾驶环境预测信息；根据所述驾驶环境预测信息，对无人机的自动驾驶过程进行调整。
34、在一个实施例中，所述系统还可以包括：
35、目标检测模块，用于：将所述驾驶环境动力学信息输入至预先训练的卷积神经网络检测模型中，得到所述驾驶环境中是否存在预设目标的检测结果；根据所述检测结果得知存在所述预设目标，对无人机在自动驾驶过程中进行预设动作的控制；其中，所述预设动作为针对所述预设目标而采取的动作。
36、在一个实施例中，所述类脑神经回路网络为预先模拟果蝇神经系统而建立的网络模型。
37、在一个实施例中，所述世界模型具体为通过所述多模态输入特征和所述驾驶环境动力学信息拟合环境动力学后验分布信息和环境动力学先验信息，并以所述环境动力学后验分布信息与所述环境动力学先验信息之间的差距最小化为训练目标而训练得到的模型。
38、根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
39、根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
40、本专利技术实施例提供的无人机自动驾驶方法及系统、介质、设备，采集多模态的驾驶环境信息，从所述驾驶环境信息进行编码得到适用于世界模型的多模态输入特征，进而将所述多模态输入特征输入至所述世界模型中，得到驾驶环境动力学信息，再将所述驾驶环境动力学信息输入至类脑神经回路网络中，得到无人机自动驾驶控制信息，最后根据所述无人机自动驾驶控制信息，对无人机进行自动驾驶控制。在自动驾驶领域，世界模型通过对现实环境特征进行建模，能更好地应对各种复杂场景，从而帮助无人机做出合理的决策和行动，可见为自动驾驶领域带来了新的突破和可能性。由于本专利技术实施例不是采用模块化的方法，因此不高度依赖于人工工程，在面对新任务或新环境，无人机也能够灵活适应，因此本专利技术实施例提供的方法的迁移性较高，能够适应人工智能的发展需求。
本文档来自技高网...【技术保护点】
1.一种无人机自动驾驶方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采集多模态的驾驶环境信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述从所述驾驶环境信息进行编码，得到适用于世界模型的多模态输入特征，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.根据权利要求1所述的方法，其特征在于，所述类脑神经回路网络为预先模拟果蝇神经系统而建立的网络模型。
7.根据权利要求1所述的方法，其特征在于，所述世界模型具体为通过所述多模态输入特征和所述驾驶环境动力学信息拟合环境动力学后验分布信息和环境动力学先验信息，并以所述环境动力学后验分布信息与所述环境动力学先验信息之间的差距最小化为训练目标而训练得到的模型。
8.一种无人机自动驾驶系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现权利要求1～7中的任一项所述的
10.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1～7中的任一项所述的方法。
...【技术特征摘要】
1.一种无人机自动驾驶方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采集多模态的驾驶环境信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述从所述驾驶环境信息进行编码，得到适用于世界模型的多模态输入特征，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.根据权利要求1所述的方法，其特征在于，所述类脑神经回路网络为预先模拟果蝇神经系统而建立的网络模型。
7.根据权利要求1所述的方法，其特征在于，所述世界模型具体...
【专利技术属性】
技术研发人员：王斌，左鹏，王禹博，臧汕倡，李承林，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。