一种复杂路况下的端到端的自动驾驶方法及系统技术方案

本发明专利技术公开了一种复杂路况下的端到端的自动驾驶方法及系统，该方法包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到决策结果。得到决策结果。得到决策结果。

【技术实现步骤摘要】
一种复杂路况下的端到端的自动驾驶方法及系统


[0001]本专利技术涉及自动驾驶
，特别地涉及一种复杂路况下的端到端的自动驾驶方法及系统。

技术介绍

[0002]近年来，卷积神经网络(Convolution Neural Network，CNN)在计算机视觉领域取得了巨大的成功，例如在图像分类、目标检测和语义分割等领域，在庞大的数据驱动下，CNN实现了令人惊喜的结果。而端到端的自动驾驶，其流程主要分为：首先利用车载摄像机或者雷达以及数据传感器，采集大量的人类驾驶数据，包括了驾驶员视角的前景图像和与之相对应的驾驶员采取的一些控制措施，例如方向盘转角、油门和刹车等，将前景图像和控制信息作为输入图像和其对应的标签制作成数据集，然后设计算法对数据集进行学习归纳，最后，在新的道路上或者输入新的前景图像，给出相应的控制措施的预测。
[0003]目前大多数的端到端的自动驾驶算法大都是基于CNN，其庞大的计算量和欠缺的可解释性，恰好是自动驾驶所需要的。此外，对于输入数据较为理想的情况下，CNN能够得到很好的预测控制结果，但是当数据有噪声或者干扰时，或者输入受到了损坏，例如突然的阳光直射等，将会导致十分不稳定的预测。
[0004]然而复杂路况下的端到端的自动驾驶，其任务更复杂，简单的CNN提取不到更有用的信息，19个LTC控制神经元并不能应对更为复杂的高维信息。

技术实现思路

[0005]有鉴于此，本专利技术提出一种复杂路况下的端到端的自动驾驶方法及系统，用以解决在复杂路况下的自动驾驶问题。
>[0006]本专利技术第一方面提供一种复杂路况下的端到端的自动驾驶方法，该方法包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。
[0007]进一步的，所述历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息；所述控制信息至少包括复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据。
[0008]进一步的，利用历史车辆前方图像和对应的控制信息制作数据集；将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。
[0009]进一步的，所述神经回路网络模型包括感知层、中间层、命令层和动作层，所述感
知层用于接收脉冲映射后的高维特征向量，所述中间层和所述命令层用于对高维特征向量进行处理，所述动作层用于输出预测值。
[0010]进一步的，所述预测值与测试集之间的损失的计算方法为：
[0011][0012]其中，n是指数据集的数目，y
pre
是指控制信息的预测值，y
real
是指测试集中的控制信息。
[0013]进一步的，所述根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型包括：将损失反馈到所述神经回路网络模型中并调整所述神经回路网络模型中训练参数；根据损失训练所述神经回路网络模型，直至损失低于预设阈值，则停止训练；将包含训练参数的所述神经回路网络模型，确定为预测模型。
[0014]本专利技术第二方面提供一种复杂路况下的端到端的自动驾驶系统，该系统包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述复杂路况下的端到端的自动驾驶方法的步骤。
[0015]上述的复杂路况下的端到端的自动驾驶方法及系统，解决了复杂路况下基于CNN算法的生物不可解释性，而且还可以根据路况的复杂程度选择不同的特征提取网络和不同神经元个数以及不同稀疏度的神经回路网络模型。
附图说明
[0016]为了说明而非限制的目的，现在将根据本专利技术的优选实施例、特别是参考附图来描述本专利技术，其中：
[0017]图1是本申请实施例提供的一种复杂路况下的端到端的自动驾驶方法的流程图；
[0018]图2是本申请实施例选取的PINet网络对输入图像进行特征提取的示意图；
[0019]图3是本申请实施例选取的PINet网络提取特征的特征图显示结果示意图；
[0020]图4是本申请实施例提供的网络架构图；
[0021]图5是本申请实施例提供的一种复杂路况下的端到端的自动驾驶系统的示意图。
具体实施方式
[0022]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。
[0023]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0025]下面结合附图对本申请实施例提供的一种复杂路况下的端到端的自动驾驶方法进行详细描述。
[0026]请参阅图1，该复杂路况下的端到端的自动驾驶方法包括：
[0027]步骤101：获取复杂路况下的历史车辆驾驶数据，并制作数据集。
[0028]本申请实施例中，该历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息，控制信息至少包括方向盘角度、车速、油门踏板深度、制动踏板深度数据。
[0029]本申请实施例中，通过车载摄像机采集复杂路况下的车辆前方图像。通过激光雷达及传感器采集复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据等。
[0030]在一些实施例中，还将历史车辆前方图像作为输入图像，将方向盘角度、车速、油门踏板深度、制动踏板深度数据作为输入图像对应的标签，基于输入图像和与其相对应的标签制作数据集。将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。
[0031]步骤102：将数据集中历史车辆前方图像输入特征提取网络，得到相应的高维特征向量。
[0032]本申请实施例中，采用CNN网络作为特征提取网络。将数据集中车辆前方图像输入到特征提取网络，提取到相应的高维特征向量。
[0033]本申请实施例中，采用的提取特征的CNN网络，可以是任意一种在计算机视觉任务中取得最好表现的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂路况下的端到端的自动驾驶方法，其特征在于，包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。2.根据权利要求1所述的复杂路况下的端到端的自动驾驶方法，其特征在于，所述历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息；所述控制信息至少包括复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据。3.根据权利要求2所述的复杂路况下的端到端的自动驾驶方法，其特征在于，利用历史车辆前方图像和对应的控制信息制作数据集；将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。4.根据权利要...

【专利技术属性】
技术研发人员：孙国梁，王洪剑，郑四发，陈涛，林江，
申请(专利权)人：清华大学，
类型：发明
国别省市：