【技术实现步骤摘要】
本专利技术涉及强化学习，具体地，涉及一种基于鸟瞰图的无人车强化学习未知环境感知方法及系统。
技术介绍
1、强化学习在处理无人车动作决策方面具有很大的优势，可以考虑无人车对环境的预期动作和状态，因而被广泛应用于无人车的自主导航领域。但是当无人车需要在未知环境中自主移动以完成任务时，如何在其周围环境中找到最安全的可通行区域仍然是一项十分具有挑战性的任务。尤其面对包含植被、多种地面地形以及动态障碍的复杂环境，由于草、绿色植物、岩石、坑洞以及非结构化障碍存在不同的可通行情况，让无人车正确理解其前区的可遍历性的难度很大。
2、强化学习的无人车导航需要对传感器数据进行处理和分析用以感知环境，目前的环境感知方法往往需要一定的先验人为知识，比如利用视觉语义分割技术，对视觉传感器的输入进行像素分割处理，然后输入强化学习网络理解可通行的地形；或者借助视觉和激光传感器利用地形的几何特性添加人为约束或优化，结合概率分布模型感知周围环境的可通行概率，将地形的高程地图输入强化学习网络做出决策判断。这些方法存在两个主要的问题：
3、1)依赖先验知识。无论是深度学习的地形语义分割还是地形的几何特征分析都需要依赖人工设定的先验知识(如分类标签和标量值)，网络在先验知识的辅助下输出感知结果，这就导致当未知环境与标注环境的差异较大时，感知得到的地形信息往往不够精准，会存在误判和信息丢失问题，导致无人车无法在感知的基础上很好的完成导航任务。
4、2)模型迁移的不便利。强化学习无人车导航训练处于安全性和经济性考虑大多需要在仿真环境中训
技术实现思路
1、针对现有技术中的缺陷，本专利技术提供一种基于鸟瞰图的无人车强化学习未知环境感知方法及系统。
2、根据本专利技术提供的一种基于鸟瞰图的无人车强化学习未知环境感知方法及系统，所述方案如下：
3、第一方面，提供了一种基于鸟瞰图的无人车强化学习未知环境感知方法，所述方法包括：
4、步骤s1：采集深度图像，并转换生成鸟瞰图像；
5、步骤s2：将所述鸟瞰图像数据输入神经网络的卷积层和全连接层生成图像数据的高维特征向量；
6、步骤s3：通过激光雷达采集无人车周围的局部点云数据输入由卷积层和最大池化层组成的多层感知器，先依据点云的空间分布进行归一化，然后利用卷积和池化操作提取点云的空间分布特征信息，生成地形点云数据的特征向量；
7、步骤s4：通过imu惯性传感器将无人车的位姿数据输入神经网络的两个连续的全连接层，生成位姿数据编码向量；
8、步骤s5：通过全连接层解码图像数据特征向量、地形点云数据的特征向量和位姿数据编码向量，融合为高维特征向量；
9、步骤s6：构建动作价值网络和最优优势函数网络，两个网络共享融合生成高维特征向量的神经网络层的参数，动作价值网络实时更新参数而最优优势函数网络非即时更新；将高维特征向量分别送入二者，通过高维特征向量评估当前环境，输出一个动作集，其中的每个动作含有一个得分；
10、步骤s7：选取得分最高的动作以角速度和线速度的形式输出；
11、步骤s8：无人车底盘接受选取的动作并转化为控制指令执行；
12、步骤s9：再次从步骤s1开始执行，循环以上步骤直至到达目的地。
13、优选地，所述步骤s1中转换生成鸟瞰图像包括：
14、步骤s1.1：运行之前标定相机，获取相机矩阵和远距离系数消除相机的所有图像畸变；
15、步骤s1.2：在图像x方向上对深度图应用sobel算子计算出绝对值，分离图像中的梯度，给出能够用来分离障碍的图像；
16、步骤s1.3：在图像的x和y方向上采取双向sobel算子操作，清除之前图像中的噪音；
17、步骤s1.4：将梯度的方向计算为y方向梯度除以x方向梯度的反正切值，进一步消除其余的噪音；
18、步骤s1.5：分离出彩色图像的亮度和饱和度通道，然后在亮度通道的x方向取一个绝对的sobel算子，激活像素。
19、优选地，所述步骤s1.5包括：设定一个阈值，如果一个像素的饱和度通道在硬编码的阈值内，或者如果它的亮度通道的缩放索贝尔像素在一个单独的硬编码阈值内，则激活该像素。
20、优选地，所述步骤s6包括：高维特征向量将分别进入价值函数网络和最优优势函数网络，网络共享融合生成高维特征向量的神经网络层的参数，最终对动作集中的动作打分。
21、第二方面，提供了一种基于鸟瞰图的无人车强化学习未知环境感知系统，所述系统包括：
22、模块m1：采集深度图像，并转换生成鸟瞰图像；
23、模块m2：将所述鸟瞰图像数据输入神经网络的卷积层和全连接层生成图像数据的高维特征向量；
24、模块m3：通过激光雷达采集无人车周围的局部点云数据输入由卷积层和最大池化层组成的多层感知器，先依据点云的空间分布进行归一化，然后利用卷积和池化操作提取点云的空间分布特征信息，生成地形点云数据的特征向量；
25、模块m4：通过imu惯性传感器将无人车的位姿数据输入神经网络的两个连续的全连接层，生成位姿数据编码向量；
26、模块m5：通过全连接层解码图像数据特征向量、地形点云数据的特征向量和位姿数据编码向量，融合为高维特征向量；
27、模块m6：构建动作价值网络和最优优势函数网络，两个网络共享融合生成高维特征向量的神经网络层的参数，动作价值网络实时更新参数而最优优势函数网络非即时更新；将高维特征向量分别送入二者，通过高维特征向量评估当前环境，输出一个动作集，其中的每个动作含有一个得分；
28、模块m7：选取得分最高的动作以角速度和线速度的形式输出；
29、模块m8：无人车底盘接受选取的动作并转化为控制指令执行；
30、模块m9：再次从模块m1开始执行，循环以上模块直至到达目的地。
31、优选地，所述模块m1中转换生成鸟瞰图像包括：
32、模块m1.1：运行之前标定相机，获取相机矩阵和远距离系数消除相机的所有图像畸变；
33、模块m1.2：在图像x方向上对深度图应用sobel算子计算出绝对值，分离图像中的梯度，给出能够用来分离障碍的图像；
34、模块m1.3：在图像的x和y方向上采取双向sobel算子操作，清除之前图像中的噪音；
35、模块m1.4：将梯度的方向计算为y方向梯度除以x方向梯度的反正切值，进一步消除其余的噪音；
36、模块m1.5：分离出彩色图像的亮度和饱和度通道，然后在亮度通道的x方向取一个绝对的sobel算子，激活像素。
37、优选地，所述模块m1.5包括：设定一个阈值，如果一个像素本文档来自技高网...
【技术保护点】
1.一种基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，包括：
2.根据权利要求1所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤S1中转换生成鸟瞰图像包括：
3.根据权利要求2所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤S1.5包括：设定一个阈值，如果一个像素的饱和度通道在硬编码的阈值内，或者如果它的亮度通道的缩放索贝尔像素在一个单独的硬编码阈值内，则激活该像素。
4.根据权利要求1所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤S6包括：高维特征向量将分别进入价值函数网络和最优优势函数网络，网络共享融合生成高维特征向量的神经网络层的参数，最终对动作集中的动作打分。
5.一种基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于，包括：
6.根据权利要求5所述的基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于，所述模块M1中转换生成鸟瞰图像包括：
7.根据权利要求6所述的基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于
8.根据权利要求5所述的基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于，所述模块M6包括：高维特征向量将分别进入价值函数网络和最优优势函数网络，网络共享融合生成高维特征向量的神经网络层的参数，最终对动作集中的动作打分。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于鸟瞰图的无人车强化学习未知环境感知方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于鸟瞰图的无人车强化学习未知环境感知方法的步骤。
...【技术特征摘要】
1.一种基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，包括：
2.根据权利要求1所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤s1中转换生成鸟瞰图像包括：
3.根据权利要求2所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤s1.5包括：设定一个阈值，如果一个像素的饱和度通道在硬编码的阈值内，或者如果它的亮度通道的缩放索贝尔像素在一个单独的硬编码阈值内，则激活该像素。
4.根据权利要求1所述的基于鸟瞰图的无人车强化学习未知环境感知方法，其特征在于，所述步骤s6包括：高维特征向量将分别进入价值函数网络和最优优势函数网络，网络共享融合生成高维特征向量的神经网络层的参数，最终对动作集中的动作打分。
5.一种基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于，包括：
6.根据权利要求5所述的基于鸟瞰图的无人车强化学习未知环境感知系统，其特征在于，所述模块m1中转换生成鸟瞰图像包括：...
【专利技术属性】
技术研发人员：易建军，张新科，苏林，王廉胜，叶杭博，李晨辉，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。