基于领域自适应神经网络的自动驾驶转向角度预测方法技术

本发明专利技术公开了一种基于领域自适应神经网络的自动驾驶转向角度预测方法。本发明专利技术包括以下步骤：1、获取真实场景数据集和虚拟场景数据集，数据预处理。2、使用两个参数独立但结构相同的卷积神经网络提取语义特征。3、将特征向量输入转向角度预测网络和领域分类网络并建模一组对抗性的损失函数。4、模型训练，优化损失函数。5、保留语义特征提取网络和转向角度预测网络，对模型进行测试或应用。本发明专利技术提出用一种端到端的对抗性神经网络架构实现角度预测模型从虚拟环境数据集到真实环境数据集的领域自适应，并针对此神经网络架构设计了合适的损失函数和训练方法，提高了模型在多种真实驾驶场景下的准确性和泛化性。

Steering angle prediction method of automatic driving based on domain adaptive neural network

【技术实现步骤摘要】
基于领域自适应神经网络的自动驾驶转向角度预测方法
本专利技术涉及自动驾驶领域，具体涉及一种基于领域自适应方法(DomainAdaptation)和端到端的深度神经网络模型的自动驾驶车转向角度预测方法。
技术介绍
深度学习的蓬勃发展，尤其是它在计算机视觉和自然语言处理任务上的成功，极大地扩展了现代计算机的应用场景并深刻地影响着当下的社会生活。作为深度学习的重要应用之一，自动驾驶技术也成为了热点研究领域。该技术试图在汽车驾驶的问题上解放人类，利用计算机系统自动控制汽车的驾驶，提高汽车驾驶的安全性与便利性，因此该技术具有良好的应用前景。自动驾驶系统中的转向角度预测模块是其最重要的组成部分，其功能是控制汽车前轮的转向以控制汽车前进的方向。转向角度预测模块的工作流程通常是先由车前摄像头拍摄得到周围路面的视频或照片序列，输入车载计算系统进行处理，对下一时刻的转向角度进行预测，最后生成转向控制指令控制前轮转向。早期的转向角度预测方法依赖于在视频或图片输入中寻找符合人类经验的图像特征，如车道、行人、建筑物等，通过模式识别学习这些特征与汽车转向角度的关系。许多新的研究表明，采用一个端到端的神经网络模型，直接输入原始的像素数据进行转向角度预测，比基于人类经验特征的方法具有更好的效果。得益于深度卷积神经网络的强表征能力，端到端的转向预测模型可以自主学习路面场景中的哪些视觉信息和人类的驾驶行为存在联系，并依此进行正确、合理的预测。但是，基于深度学习的转向角度预测方法十分受限于自动驾驶数据集的规模和质量。自动驾驶数据集包含的样本，常为一段时间内的路面场景的视频或图片序列和这段时间内正确的转向角度的序列。现有的数据集主要分为两类，一类是通过收集真实行车场景的视频记录和人们的驾驶数据得到的真实数据集，一类是通过计算机图形(CG)技术模拟路面场景并用程序自动生成标注的虚拟数据集。要直接获得大规模的、优质的真实数据集较为困难；同时，由于自动驾驶任务自身的复杂性，包括路况、天气等因素的多样性，真实数据集难以实现对日常行车情况的有效覆盖。因此，在真实数据集上训练得到的驾驶决策模型在处理训练集中未见过的路面场景时，往往会做出较差的决策，即模型的泛化能力较差。构建大规模的虚拟数据集往往相较于真实数据集更为容易，且虚拟数据集的可靠性和多样性更强。但是由于虚拟场景与真实场景存在区别，一些在虚拟数据集上进行模型训练并在虚拟环境中被证明是可行且有效的转向角度预测方法，难以实现在真实场景下的应用。针对当前自动驾驶转向角度预测方法的不足，有必要进行研究，提出一种新的方法，把转向角度预测模型在虚拟数据集上学习到的知识迁移至真实数据集，并提升转向角度预测模型在真实路面场景下的泛化能力。
技术实现思路
为了克服现有自动驾驶转向角度预测方法存在的缺陷，本专利技术公开了一种基于对抗性领域自适应神经网络的转向角度预测方法，主要包含两点：1、提出用领域自适应方法实现转向角度预测模型从虚拟环境到真实环境的知识迁移。将虚拟数据集作为源域，将真实数据集作为目标域，通过特征层面的领域自适应方法，将来自两种不同数据域的视觉特征向量投影到一个公共的语义空间中。在这个空间中，表征相同语义信息的特征向量将具有非常小的空间距离，且无法区分它们原本是映射自真实数据集样本还是虚拟数据集样本。2、提出一种端到端的对抗性深度学习方法实现转向角度预测模型，以来自真实数据集和虚拟的图像信息作为输入，同时包含两种输出，一是对自动驾驶系统的转向指令做出预测，二是对该图片是来源于真实数据集还是虚拟数据集做出分类。通过训练，模型将自动学习从两种不同的视觉特征空间到上述公共语义空间的语义映射，并进一步学习从该公共语义空间到转向指令空间的动作映射，从而得到一个有较强泛化能力的、可适用于真实环境的驾驶决策模型。应当指出，该方法实际上是实现神经网络模型对不同自动驾驶数据集的领域自适应性的一种普适性框架，原则可以使用任何一种优秀的神经网络架构对上述语义映射和动作映射进行建模。为了解决现有技术的问题，本专利技术的技术方案包括以下步骤：步骤1、获取数据集，进行数据预处理。获取真实数据集和虚拟数据集，对真实数据集和虚拟数据集中的图像数据进行简单的预处理作为后续深度神经网络的输入。步骤2、使用两个参数独立但结构相同的语义特征提取网络分别建模真实域语义映射和虚拟域语义映射。语义特征提取网络使用卷积神经网络实现，记真实域语义映射的网络模型参数为θv，虚拟域语义映射的网络模型参数θr。对来自真实数据集和虚拟数据集的输入Xr和Xv分别进行特征抽取，得到具有较高语义信息的特征向量sr和sv。将来自两种数据集的特征混合，并生成相应的域标签ci：表示输入特征来自真实数据集，表示输入特征来自虚拟数据集。步骤3、将特征向量si输入转向角度预测网络P和领域分类网络D并建模一组对抗性的损失函数(LossFunctions)。本专利技术通过对抗性的网络训练实现领域自适应性，故需要设计两个输出层和两个损失函数。在步骤(3)中进一步包含了如下步骤：步骤3-1.将特征向量si输入以θd为模型参数的领域分类网络，得到领域分类网络的输出进一步计算交叉熵损失函数作为分类损失其中，Nr为真实数据集样本量，Nv为虚拟数据集样本量。步骤3-2.将特征向量si输入以θp为模型参数的转向角度预测网络，输出标量预测结果然后计算预测损失函数，具体采用均方误差公式，即其中，yi表示输入样本Xi对应的转向指令标签。步骤4、对语义特征提取网络、领域分类网络和转向角度预测网络进行端到端地训练，优化模型参数θv、θr、θd和θp。本专利技术采用的优化目标为：其中，和分别为最优化θv、θr、θd和θp的得到的模型参数。λ为系数常量，表明分类损失相较于预测损失的重要程度。通过梯度反向传播算法和Adam优化器训练神经网络模型，使模型参数逼近上述优化目标。步骤5、对模型进行测试或应用。要对训练完成的模型进行真实环境下的测试或实际应用时，只需要保留语义特征提取网络和转向角度预测网络，输入真实环境的图像数据，就可以得到具有较高泛化性的转向角度预测结果。与现存的方法相比，本专利技术提出的算法具有以下优点：高准确率：本专利技术克服了现存自动驾驶转向角度预测的深度学习方法中由于训练数据集的匮乏导致的不足，充分利用真实数据集和虚拟数据集，有效提高了转向角度预测模型的泛化能力。实验证明，本专利技术提出的模型在测试数据集上获得了较高的准确率。高效性：由于采用了端到端的转向角度预测模型，简化了转向角度预测模块的运算流程，模型的参数量与运算量均适中，适合部署于在存储和算力方面有限制的车载计算系统之中，进行实时的转向控制。附图说明图1为本专利技术的整体框架图；图2为语义特征提取网络结构图；如下具体实施例将结合上述附图进一步说明本专利技术。具体实施方式以下将结合附图对本专利技术提供的一种基于领域自适应神经网络的自动驾驶转向角本文档来自技高网...

【技术保护点】
1.基于领域自适应神经网络的自动驾驶转向角度预测方法，其特征在于包括如下步骤：/n步骤1、获取数据集，进行数据预处理；/n获取真实数据集和虚拟数据集，对真实数据集和虚拟数据集中的图像数据进行简单的预处理作为后续深度神经网络的输入；/n步骤2、使用两个参数独立但结构相同的语义特征提取网络分别建模真实域语义映射和虚拟域语义映射；语义特征提取网络使用卷积神经网络实现，记真实域语义映射的网络模型参数为θ

【技术特征摘要】
1.基于领域自适应神经网络的自动驾驶转向角度预测方法，其特征在于包括如下步骤：
步骤1、获取数据集，进行数据预处理；
获取真实数据集和虚拟数据集，对真实数据集和虚拟数据集中的图像数据进行简单的预处理作为后续深度神经网络的输入；
步骤2、使用两个参数独立但结构相同的语义特征提取网络分别建模真实域语义映射和虚拟域语义映射；语义特征提取网络使用卷积神经网络实现，记真实域语义映射的网络模型参数为θv，虚拟域语义映射的网络模型参数θr；对来自真实数据集和虚拟数据集的输入Xr和Xv分别进行特征抽取，得到具有较高语义信息的特征向量sr和sv；将来自两种数据集的特征混合，并生成相应的域标签ci：

表示输入特征来自真实数据集，表示输入特征来自虚拟数据集；
步骤3、将特征向量si输入转向角度预测网络P和领域分类网络D并建模一组对抗性的损失函数；通过对抗性的网络训练实现领域自适应性，故需要设计两个输出层和两个损失函数：
步骤3-1.将特征向量si输入以θd为模型参数的领域分类网络，得到领域分类网络的输出进一步计算交叉熵损失函数作为分类损失



其中，Nr为真实数据集样本量，Nv为虚拟数据集样本量；
步骤3-2.将特征向量si输入以θp为模型参数的转向角度预测网络，输出标量预测结果然后计算预测损失函数，具体采用均方误差公式，即



其中，yi表示输入样本Xi对应的转向指令标签；
步骤4、对语义特征提取网络、领域分类网络和转向角度预测网络进行端到端地训练，优化模型参数θv、θr、θd和θp，采用的优化目标为：






其中，和分别为最优化θv、θr、θd和θp的得到的模型参数；λ为系数常量，表明分类损失相较于预测损失的重要程度；通过梯度反向传播算法和Adam优化器训练神经网络模型，使模型参数逼近上述优化目标；
步骤5、对模型进行测试或应用；要对训练完成的模型进行真实环境下的测试或实际应用时，只需要保留语义特征提取网络和转向角度预测网络，输入真实环境的图像数据，就可以得到具有较高泛化性的转向角度预测结果。


2.根据权利要求1所述的基于领域自适应神经网络的自动驾驶转向角度预测方法，其特征在于步骤(1)具体实现如下：
首先获取取样于真实驾驶环境的真实数据集和在计算机模拟环境中生成的虚拟数据集，对数据集中的视频数据进行抽帧，得到一组时序图片序列；将图片序列中的每张RGB图片调整为120×240大小；对每一个时刻t构造一个训练样本，取xt-3、xt-2、xt-1和xt四张图片在时间维度拼接，形成一个四阶张量的输入样本Xt，其大小为(3,4，120，240)；每一个输入样本Xt对应一个转向指令的标签yt，这里yt＝α/90∈(-1,1)，α为前轮转向的角度，当汽车左转时α为负，右转时α为正；设真实数据集的样本量为Nr，虚拟数据集的样本量为Nv；通常来说，有Nr＜Nr，为了保证训练数据的平衡，每一个训练步，从两个数据集中各随机抽取N个样本，即网络训练时每个批量的数据总共2N个样本。


3.根据权利要求2所述的基于领域自适应神经网络的自动驾驶转向角度预测方法，其特征在于步骤...

【专利技术属性】
技术研发人员：余宙，俞俊，邵镇炜，罗宇矗，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33