一种基于串行深度神经网络的端到端单目视觉避障方法技术

一种基于串行深度神经网络的端到端单目视觉避障方法，它属于无人机导航领域。本发明专利技术解决了现有基于端到端的无人机避障方法的响应延迟高，避障路径不稳定，裕度不足以及小型无人机上只能使用单目摄像头传感器导致无法感知深度信息，在室内有行人情况下避障性能不佳的问题。本发明专利技术将改进的深度神经网络Resnet18与YOLO v3串行结合，实时输出无人机的航向角。克服了现有方法响应延迟高，避障路径不稳定，裕度不足的问题，解决了现有端到端单目无人机室内避障算法在室内有行人场景下避障性能不佳、甚至不能使用的问题，使其在正常室内导航的同时，在有行人的室内环境下依然具有优秀的避障能力，对陌生环境有较好的泛化能力。本发明专利技术可以应用于无人机室内导航。

【技术实现步骤摘要】
一种基于串行深度神经网络的端到端单目视觉避障方法
本专利技术属于无人机导航领域，具体涉及一种基于串行深度神经网络的端到端单目视觉避障方法。
技术介绍
随着无人机行业的发展，无人机的自主导航是许多无人机应用的核心，例如在多无人机协调，无人机建图和无人机室内任务等。然而，由于室内空间较小，人员动态性较高等原因，所用的无人机尺寸有限，因此小型无人机上面所能搭载的传感器也非常有限，因此依靠有限的传感器使得无人机在室内自主导航避障仍然是一项有挑战性的工作。目前根据无人机路径规划是否是基于轨迹法，将无人机导航算法分为两大类，分别是基于轨迹规划和基于动作响应的(端到端决策)方法。对于基于轨迹规划的方法，其优点在于通过动态规划，可以求解出一条全局最优路径，其结果更加可控，更加稳定，但是该类方法带来的弊端是算法耗时长，比较依赖计算机的算力，而且往往基于轨迹规划的算法的泛化能力会相对比较弱一些。对于基于动作响应的方法，此类方法的优点在于其为端到端决策类型的算法，通常算法决策耗时比较短，同时目前基于端到端的算法的泛化能力普遍要优于基于轨迹的方法，但是基于端到端的方法的短板也非常明显，那就是其决策并不一定是全局最优解。由于小型无人机只能搭载单目摄像头，无法感知到全局信息，因此结合端到端的决策策略更为合适。对于基于响应类的避障算法分为自主学习类和非自主学习类，非自主学习类的算法诸如人工势场法等算法，但由于当无人机距离障碍物过近或者离目标位置太远将会导致局部震荡等一系列问题，虽然后续有改进版本的人工势场法，但也使得其参数变得很难整定，实际应用起来很难。对于自主学习类的无人机避障算法，目前主要是基于深度强化学习和深度学习的方法。目前应用深度强化学习进行无人机室内避障较为成功的案例有诸如基于状态值估计的GTS(GeneralizationthroughSimulationIntegratingSimulatedandRealDataintoDeepReinforcementLearningforVisionBasedAutonomousFlight)方法，该方法为端到端决策方法。然而对于该深度强化学习(GTS)的避障算法，首先，其利用仿真环境训练出来的状态值估计网络，其对动作空间里所有的动作采取的是利用状态值估计网络逐个评估的方法，这意味着在决策时会加大响应延迟；其次，其采用离散动作空间，这意味着无人机的决策动作也将变得离散，动作不是那么平滑；最后，该方法(GTS)将仿真环境训练好的网络移植到实物无人机上，由于迁移工作不够细致，在实物效果上表现为避障裕度不够、路径不稳定。同时，目前基于单目视觉的端到端无人机决策算法几乎都是在无人的环境下进行飞行试验，因为单目摄像头难以求取深度信息，而且，行人运动的特点是随机性比较强，同时人们喜欢聚焦、围观，这使得该类算法的实用性大大下降，甚至无法使用，因此，在室内有行人情况下现有算法避障性能不佳。
技术实现思路
本专利技术的目的是为解决现有基于端到端的无人机避障方法的响应延迟高，避障路径不稳定，裕度不足以及小型无人机上只能使用单目摄像头传感器导致无法感知深度信息，在室内有行人情况下避障性能不佳的问题，而提出了一种基于串行深度神经网络的端到端单目视觉避障方法。本专利技术为解决上述技术问题采取的技术方案是：一种基于串行深度神经网络的端到端单目视觉避障方法，该方法包括以下步骤：步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLOv3网络，利用预训练好的YOLOv3网络输出对各图像中行人位置的预测信息；步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；步骤七、将预训练好的YOLOv3网络与训练好的改进Resnet18深度神经网络合并成串行结构，将合并成的串行结构作为端到端决策网络；将无人机上的单目摄像头采集的图像实时输入预训练好的YOLOv3网络后，输出对图像中行人位置的预测信息；再将行人位置的预测信息绘制在对应的图像上，获得添加行人位置信息后的图像，将添加行人位置信息后的图像输入训练好的改进Resnet18深度神经网络，通过改进Resnet18深度神经网络实时输出无人机的航向角。本专利技术的有益效果是：本专利技术提出了一种基于串行深度神经网络的端到端单目视觉避障方法，本专利技术将改进的深度神经网络Resnet18与YOLOv3串行结合，实时输出无人机的航向角。克服了现有方法响应延迟高，避障路径不稳定，裕度不足的问题，解决了现有端到端单目无人机室内避障算法在室内有行人场景下避障性能不佳、甚至不能使用的问题，使其在正常室内导航的同时，在有行人的室内环境下依然具有优秀的避障能力，对陌生环境有较好的泛化能力。附图说明图1为将单线激光雷达与摄像头固定在一起进行数据集采集的示意图；图2为单线激光雷达搜索最佳航向的示意图；图3为决策网络结构图；图4为串行结构输出无人机航向角的示意图；图5为代价函数的下降曲线图。具体实施方式具体实施方式一：本实施方式所述的一种基于串行深度神经网络的端到端单目视觉避障方法，该方法具体包括以下步骤：步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLOv3网络，利用预训练好的YOLOv3网络输出对各图像中行人位置的预测信息；步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；步骤七、将预训练好的YOLOv本文档来自技高网...

【技术保护点】
1.一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，该方法包括以下步骤：/n步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；/n其中：数据集内包括在t

【技术特征摘要】
1.一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，该方法包括以下步骤：
步骤一、将单线激光雷达与摄像头固定在一起后，利用单线激光雷达与摄像头共同采集数据集；
其中：数据集内包括在tn时刻摄像头采集的图像以及在tn时刻单线激光雷达采集的数据，n＝1,2,…,N，N代表时刻的总个数；
步骤二、将步骤一中摄像头采集的图像输入预训练好的YOLOv3网络，利用预训练好的YOLOv3网络输出对各图像中行人位置的预测信息；
步骤三、将步骤二输出的行人位置预测信息分别绘制在对应的图像上，获得各个新图像；
步骤四、对步骤一中单线激光雷达采集的数据进行预处理，提取出各个时刻无人机的最佳航向；
步骤五、将步骤三获得的新图像作为改进的Resnet18深度神经网络的训练集，将步骤四中提取出的最佳航向作为训练集中对应时刻图像的标签；
步骤六、利用打好标签的训练集图像对改进的Resnet18深度神经网络进行训练，直至改进的Resnet18深度神经网络的代价函数值不再减小时停止训练，获得训练好的改进Resnet18深度神经网络；
步骤七、将预训练好的YOLOv3网络与训练好的改进Resnet18深度神经网络合并成串行结构，将合并成的串行结构作为端到端决策网络；
将无人机上的单目摄像头采集的图像实时输入预训练好的YOLOv3网络后，输出对图像中行人位置的预测信息；再将行人位置的预测信息绘制在对应的图像上，获得添加行人位置信息后的图像，将添加行人位置信息后的图像输入训练好的改进Resnet18深度神经网络，通过改进Resnet18深度神经网络实时输出无人机的航向角。


2.根据权利要求1所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤一中，摄像头采集的图像的大小为640*480像素，图像的格式为RGB格式。


3.根据权利要求2所述的一种基于串行深度神经网络的端到端单目视觉避障方法，其特征在于，所述步骤四的具体过程为：
directionn＝mid(max(lidarData_blank)n)(1)
式中，max(lidarData_blank)n代表求取tn时刻单线激光雷达覆盖范围内连续空白区域面积最大的区域，mid(max(lidarData_blank)n)代表求取区域ma...

【专利技术属性】
技术研发人员：杨柳，薛喜地，李湛，李东洁，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23