【技术实现步骤摘要】
本专利技术涉及无人机，具体涉及了一种实现无人机飞行助手的感知与控制方法及系统。
技术介绍
1、近年来，机器人辅助技术的作用日益凸显，随着人工智能、传感器技术和自动化技术的飞速发展，机器人不再是简单的执行工具，而是成为生产和生活中不可或缺的助手，对提升生产力和改善生活质量具有重要意义。
2、智能辅助需要全面综合的控制决策，在环境感知、动态决策与规划、行为控制与执行等功能上进行整合，使机器人能接收人类的控制命令，也能根据预设程序自主执行任务。无人机作为智能机器人的重要分支，在军用、民用和工业领域都得到了快速发展，在辅助领域有巨大潜力。相较于机械臂等机器人结构，无人机可移动空间更广，可以作为空中的飞行助手使用，弥补了地面机器人移动范围和视野范围的缺陷。无人机辅助涉及自主感知、路径规划和飞行控制等技术，使无人机自主执行任务。然而，无人机在任务执行中仍然存在一些挑战和限制。传统无人机对于复杂环境难以做出及时有效的反应，在环境感知方面存在不足，导致路径规划的不合理和不全面，例如，在密集室内环境中飞行时，无人机会因家具等障碍物遮挡而无法正常执行全面搜索任务。此外无人机在未知环境下依赖人工遥控，这限制了其在任务执行过程中的自主性和灵活性，也增加了操作者的工作负担。同时，目前对于无人机多源信息的集成工作较少，如集成语音、图像等信息，从而无法进行端到端的多源信息交互，为任务决策提供更多参考数据。
3、针对这些挑战，本专利技术提到的无人机飞行助手可以自主感知周围环境的变化理解操作者语音指令，并根据环境信息调整飞行策略，以适应不
4、综上所述，本专利技术旨在提升无人机飞行助手的智能性和灵活性，使其能够更加智能地应对各种复杂环境和任务需求，从而拓展其在各个领域的应用范围。无人机飞行助手可以辅助非技术专家完成任务，面向目标物体的搜索寻回等场景，扩展自然语言与视觉的交互，有助于提高辅助系统的智能性和灵活性，具有广阔的应用前景。
技术实现思路
1、本专利技术目的在于使无人机更加智能地应对各种复杂环境和任务需求，提出一种高效、灵活的实现无人机飞行助手的方法，无人机作为飞行助手完成非技术专家发出的寻物等命令。
2、本专利技术的目的是通过以下技术方案来实现的，第一方面，本专利技术提供了一种实现无人机飞行助手的感知与控制方法，该方法包括如下步骤：
3、步骤一：获取操作者语音指令，将指令的文本信息基于大语言模型分析获取任务序列，以下每步执行均需符合任务序列生成的子任务流程；
4、步骤二：根据指令信息，提取预设的初始三维空间点位，并利用自主导航规划算法实现无人机到达预设点位的路径规划；
5、步骤三：通过无人机前端双目摄像头对无人机前方视野范围内的物体进行扫视，并通过目标检测算法实时识别；并判断是否寻找到目标物品，若是则执行步骤四，若否则执行步骤六；
6、步骤四：利用检测信息和相机内参估计目标位置并导航至该点上方；
7、步骤五：通过无人机底部单目摄像头观察无人机下方视野范围内的物体，并通过目标检测算法实时识别；如果检测到需求物体，则无人机下降进行物品抓取并自动返航至起始点；
8、步骤六：无人机进行全路径飞行遍历空间，若成功检测需求物体，返回步骤四，否则自动返航至起始点，等待新命令。
9、进一步地，所述步骤一的实现方法包括：
10、步骤101：获取声学模型和拼音字典，构建词汇拼音字典库；
11、步骤102：操作者的语音指令输入至离线语音识别模型中，转换为文本字符串信息，作为大语言模型的prompt提示词；
12、步骤103：调用大语言模型api接口处理指令，预先调整大语言模型的输出格式为字符串列表，输入步骤102结果，解读并分解任务，得到符合实际物理环境和操作流程的子任务列表，启动状态机功能；调用大语言模型api接口的方法如下：通过rosservice通讯机制，创建服务端与客户端，服务端创建与api的连接，发出访问申请，在请求中包括系统提示词、用户提示词及示例内容，客户端接收访问结果，并输入状态机解读子任务流程顺序。
13、进一步地，预先调整大语言模型输出格式的实现方法包括：系统提示词、用户提示词和示例；
14、所述系统提示词，即针对飞行助手的系统性指导，用于指导飞行助手应该如何理解操作者的指令并生成相应的代码，提供了所需的规则和指导，包括操作者对助手的期望，允许使用的功能函数以及不允许的操作；
15、所述用户提示词，即帮助操作者了解能够使用的功能函数及其参数格式，用户提示词提供包括导航、检测物体和全路径相关的功能函数；
16、所述示例，提供一个用户指令以及飞行助手生成的代码的范例，操作者指令以字符串形式提供，助手则根据用户指令生成相应的代码，以完成操作者所要求的任务。
17、进一步地，导航的实现方法为改进的a*算法，具体如下：
18、(3)根据到障碍物表面距离估计和到目标物距离估计设计启发式函数h(n)，设定累积代价函数g(n)为当前点到起始点的欧式距离，以提高在未识别到目标物时对周边障碍物的全面检测，及识别成功后规划的路径最短；
19、(4)采用自适应搜索策略调整搜索方向，所述自适应搜索策略根据当前搜索状态动态选择节点扩展顺序和搜索方向，以最大程度地减少搜索空间，提高搜索效率；
20、所述评估函数f(n)的计算公式为：
21、f(n)＝ω1*g(n)+ω2*h(n)
22、g(n)＝||z(n)-z(init)||
23、
24、其中，n是无人机所在位置的三维坐标值，f(n)表示节点n的综合评估值，g(n)表示节点n到起始节点的实际累积代价，h(n)表示节点n到目标节点的估计代价，ω1和ω2为到起始节点和到目标节点对应的自适应调整权重，z(n)表示第n个节点的位置，z(tar)表示目标节点的位置，z(init)表示起始节点的位置，dobs为到障碍物中心距离，dmin为对障碍物表面的最小观察距离。
25、进一步地，所述步骤三及步骤五的目标检测算法为yolov5s模型，实现方法包括：构建数据集部分、训练检测网络部分和应用检测网络部分；
26、所述构建数据集部分，使用无人机的前端双目摄像头和底部单目摄像头在无人机离地面高度1米的位置分别进行拍摄，获取无人机前视数据集f和下视数据集b，两组数据集均包含不同角度的物体图像，并划分数据集为训练集btr和ftr，验证集bv和fv；
27、所述训练检测网络部分，分别输入训练集btr和ftr到yolov5s网络，训练结束后输出训练权重文件，通过验证集对训练权重文件进行验证，选本文档来自技高网...
【技术保护点】
1.一种实现无人机飞行助手的感知与控制方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤一的实现方法包括：
3.根据权利要求2所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，预先调整大语言模型输出格式的实现方法包括：系统提示词、用户提示词和示例；
4.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，导航的实现方法为改进的A*算法，具体如下：
5.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤三及步骤五的目标检测算法为YOLOv5s模型，实现方法包括：构建数据集部分、训练检测网络部分和应用检测网络部分；
6.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤四估计目标位置的实现方法为：由于检测物品一般认为中心对称，因此视为圆柱体或球体，即从水平面各个方向看其宽度相同，利用目标检测框信息与相机内参估计目标位置：
7.根据权利要求1所述的一种实现
8.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤六中的全路径飞行遍历空间实现方法为：
9.一种基于权利要求1-8任一项所述方法的实现无人机飞行助手的感知与控制系统，其特征在于，该系统包括任务规划模块、目标检测及定位模块和自主导航模块；
10.一种基于权利要求1-8任一项所述方法的实现无人机飞行助手的感知与控制设备，其特征在于，该设备包括：双目及单目摄像头、机载电脑、地面站及无人机；
...【技术特征摘要】
1.一种实现无人机飞行助手的感知与控制方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤一的实现方法包括：
3.根据权利要求2所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，预先调整大语言模型输出格式的实现方法包括：系统提示词、用户提示词和示例；
4.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，导航的实现方法为改进的a*算法，具体如下：
5.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤三及步骤五的目标检测算法为yolov5s模型，实现方法包括：构建数据集部分、训练检测网络部分和应用检测网络部分；
6.根据权利要求1所述的一种实现无人机飞行助手的感知与控制方法，其特征在于，所述步骤四估计目标位置的实现方法为：由于检测物品一般认为中心对称，因此视为圆柱体或球体，即从水平面各个方向看其宽度相同，利用目标检测框信息与相机内参估计目标位置：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。