基于视觉学习驱动的空中机器人集群控制方法及系统技术方案

本发明专利技术公开了一种基于视觉学习驱动的空中机器人集群控制方法及系统，包括以下步骤：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量，根据最终控制量实现对当前空中机器人的控制，解决了传统空中机器人无法在通讯困难以及GPS拒止的环境中实现集群的问题。

【技术实现步骤摘要】
基于视觉学习驱动的空中机器人集群控制方法及系统
本专利技术涉及空中机器人集群控制领域，尤其涉及一种基于视觉学习驱动的空中机器人集群控制方法及系统。
技术介绍
近年来，空中机器人理论和技术得到了快速发展，空中机器人能够实现的功能愈发强大，在一些领域正渐渐取代载人飞行器，尤其是在一些人类难以到达的环境和具有挑战的项目有着很高的效率。然而,由于任务需求和工作环境变得不断繁杂，单架空中机器人在任务执行能力上显露出了局限性。多空中机器人群系统不但能发挥空中机器人的优势，还能避免单空中机器人的局限性，在部分个体发生故障的情况下还可以完成多样的任务，是未来空中机器人发展的重要方向。传统的空中机器人集群技术是利用内部的通信和信息共享优势,得到相互间的位置关系，通过虚拟结构法、领航者-跟随者、基于人工势场的控制方法以及基于模型预测控制的控制算法来进行集群编队的控制，这些控制算法需要强大的通信带宽以及准确的GPS定位信号。在城市和野外飞行环境中，受大型建筑物等的影响，无线通信的通信信号容易被干扰、遮挡，这给通讯控制带来了极大的困难。受多种因素的影响，包括与GPS卫星有关的误差、与信号传播有关的误差、与接收设备有关的误差，这种误差在空中机器人集群系统中会严重降低系统的鲁棒性。特别是在GPS拒止的环境中，传统的机器人集群算法无法实现。针对这种通信困难或者GPS拒止的环境中，传统算法已经满足不了现代社会的需要，因此需要采用新的方法使空中机器人能够在复杂环境依旧保持高鲁棒性的集群控制。
技术实现思路
针对以上技术问题，本专利技术提供一种基于视觉学习驱动的空中机器人集群控制方法及系统。本专利技术解决其技术问题采用的技术方案是：基于视觉学习驱动的空中机器人集群控制方法，方法包括以下步骤：步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；步骤S300：对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；步骤S500：根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；步骤S600：检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量，根据最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，运行状态信息包括速度、位置、航向信息，以及摄像头模块、计算机模块和飞控模块间连接信号。优选地，全方位周围场景图像包括多张图像，步骤S300包括：步骤S310：对全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像；步骤S320：对第一图像进行二值化操作，得到第二图像；步骤S330：对第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。优选地，步骤S500之前还包括：步骤S400：预训网络模型，得到预设的网络模型。优选地，预设的网络模型包括速度预测的全连接层和碰撞预测的全连接层，步骤S400包括：步骤S410：采集预训练所需要的训练集图像；步骤S420：将训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数。优选地，预设的网络模型中的总的损失函数为：其中,Lall表示总的损失函数，a表示加权比例，epoch表示循环迭代次数，Lvel表示均方误差损失函数，Lcol表示交叉熵损失函数。优选地，步骤S600中最终控制量的计算公式具体为：νout＝b(1-β)νin+(1-b)νlastout其中，νout为最终控制量，β为碰撞概率，b为低通滤波参数，νin为网络模型输出的控制量，νlastout为空中机器人前一次运行的目标速度。优选地，步骤S600还包括：根据当前运行状态信息确定空中机器人运行状态异常时，输出返回控制指令，控制空中机器人返回。优选地，步骤S200之前还包括：步骤S100：发送启动指令，启动指令用于控制摄像头模块和飞控模块开始工作。基于视觉学习驱动的空中机器人集群控制系统，包括多架空中机器人，每一空中机器人包括空中机器人本体和均安装在空中机器人本体上的摄像头模块、计算机模块和飞控模块，摄像头模块连接计算机模块，计算机模块连接飞控模块；摄像头模块用于扫描获取空中机器人全方位周围场景图像并发送至计算机模块；计算机模块用于执行其上的方法，得到最终控制量并发送至飞控模块；飞控模块用于根据接收的最终控制量实现对空中机器人集群控制。优选地，摄像头模块包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头和第六摄像头，第一摄像头设置于空中机器人本体的正前方，第二摄像头、第三摄像头和第四摄像头以每隔90°均匀设置于空中机器人本体的其余三周，第五摄像头设置于空中机器人本体的顶部，第六摄像头设置于空中机器人本体的底部，每个摄像头的视野范围为120°。上述基于视觉学习驱动的空中机器人集群控制方法及系统，采用全方位的摄像头模块来代替空中机器人之间的通信交流以及GPS来获取相对位置的方式，通过神经网络学习集群的规则算法得到预设的网络模型，对获取到的全方位的周围场景图像进行处理后直接输入，直接为各空中机器人输出最终控制量，实现集群的控制，解决了传统空中机器人无法在通讯困难以及GPS拒止的环境中实现集群的问题。附图说明图1为本专利技术一实施例提供的基于视觉学习驱动的空中机器人集群控制方法的流程图；图2为空中机器人的正视图；图3为空中机器人的俯视图；图4为空中机器人的视觉集群示意图；图5为全方位周围场景图像预处理结果示意图；图6为本专利技术另一实施例提供的基于视觉学习驱动的空中机器人集群控制方法的流程图。具体实施方式为了使本
的人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术作进一步的详细说明。在一个实施例中，如图1所示，一种基于视觉学习驱动的空中机器人集群控制方法，方法包括以下步骤：步骤S200：采用摄像头模块扫描获取空中机器人全方位周围场景图像。具体地，空中机器人具体可以为无人机但不仅限于此，摄像头模块的视野覆盖空中机器人的各个方向，用于扫描四周场景，并获取到全方位的周围场景图像。在本实施例中，摄像头模块包括第一摄像头1、第二摄像头2、第三摄像头3、第四摄像头4、第五摄像头5和第六摄像头6，第一摄像头1设置于空中机器人的正前方，第二摄像头2、第三摄像头3和第四摄像头4以每隔90°均匀设置于空中机器人的其余三周(具体为空中机器人的正后方、正左方和正右方)，第五摄像头5设置于空中机器人的顶部，第六摄像头6设置于空中机器人的底部，每个摄像头的视野范本文档来自技高网...

【技术保护点】
1.基于视觉学习驱动的空中机器人集群控制方法，其特征在于，所述方法包括以下步骤：/n步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；/n步骤S300：对所述全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；/n步骤S500：根据所述预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；/n步骤S600：检测空中机器人当前运行状态信息，根据所述当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和所述网络模型输出的控制量得到最终控制量，根据所述最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，所述运行状态信息包括速度、位置、航向信息，以及所述摄像头模块、所述计算机模块和所述飞控模块间连接信号。/n

【技术特征摘要】
1.基于视觉学习驱动的空中机器人集群控制方法，其特征在于，所述方法包括以下步骤：
步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；
步骤S300：对所述全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；
步骤S500：根据所述预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；
步骤S600：检测空中机器人当前运行状态信息，根据所述当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和所述网络模型输出的控制量得到最终控制量，根据所述最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，所述运行状态信息包括速度、位置、航向信息，以及所述摄像头模块、所述计算机模块和所述飞控模块间连接信号。


2.根据权利要求1所述的方法，其特征在于，所述全方位周围场景图像包括多张图像，所述步骤S300包括：
步骤S310：对所述全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像；
步骤S320：对所述第一图像进行二值化操作，得到第二图像；
步骤S330：对所述第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。


3.根据权利要求1所述的方法，其特征在于，所述步骤S500之前还包括：
步骤S400：预训网络模型，得到预设的网络模型。


4.根据权利要求3所述的方法，其特征在于，所述预设的网络模型包括速度预测的全连接层和碰撞预测的全连接层，所述步骤S400包括：
步骤S410：采集预训练所需要的训练集图像；
步骤S420：将所述训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数。


5.根据权利要求4所述的方法，其特征在于，所述预设的网络模型中的总的损失函数...

【专利技术属性】
技术研发人员：王耀南，范泷文，钟杭，李玲，缪志强，张辉，林杰，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43