一种自动驾驶BEV任务学习方法及相关装置制造方法及图纸

本申请提供一种自动驾驶BEV任务学习方法及相关装置，该方法主要通过获得的鸟瞰图BEV特征来表征几何深度信息特征，由于该BEV特征是对时序立体匹配的点云数据和深度估计出的点云数据进行融合、归一化处理和对齐，获得对齐后的点云数据，并对多视角图像的图像特征中提取的上下文特征与对齐后的点云数据进行外积操作和体素池化操作获得的，因此，该BEV特征是能够表征感知世界的视角或坐标系的特征，所以该BEV特征也能够表征几何深度信息特征，从而通过使用BEV特征对机器视觉任务进行学习，能够有效地避免自动驾驶汽车在行驶时的安全隐患。隐患。隐患。

【技术实现步骤摘要】
一种自动驾驶BEV任务学习方法及相关装置


[0001]本申请涉及自动驾驶、仿真测试、任务学习和模型训练的
，具体而言，涉及一种自动驾驶BEV任务学习方法及相关装置。

技术介绍

[0002]目前，在自动驾驶的应用场景中，通常是使用单相机或者多相机采集图像中提取的特征来进行机器视觉任务学习和推理，具体例如：获取多相机采集的环境图像，并提取出环境图像中的图像特征，然后，使用机器视觉任务学习后的模型对该图像特征进行目标对象(例如障碍物或行人等等)检测等等。在具体的实践过程中发现，虽然能够利用这种图像特征预测出目标对象在相机视野内的相对位置，但是很难精确地预测出目标对象与该相机之间的距离(即几何深度信息)，可能导致自动驾驶汽车在行驶时存在安全隐患。

技术实现思路

[0003]本申请实施例的目的在于提供一种自动驾驶BEV任务学习方法及相关装置，用于改善自动驾驶汽车在行驶时存在安全隐患的问题。
[0004]本申请实施例提供了一种自动驾驶BEV任务学习方法，包括：获取自动驾驶场景中的当前时刻的第一多视角图像，并提取出第一多视角图像的图像特征，多视角图像是同一时刻从自动驾驶场景中的自动驾驶车辆的多个视角拍摄的图像；获取上一时刻的第二多视角图像的图像特征，并对第一多视角图像的图像特征与第二多视角图像的图像特征进行时序立体匹配，获得匹配的点云数据，第一多视角图像的拍摄视角与第二多视角图像的拍摄视角是相同的；对第一多视角图像的图像特征进行深度估计，获得估计出的点云数据，并对估计出的点云数据和匹配的点云数据进行融合、归一化处理和对齐，获得对齐后的点云数据；根据第一多视角图像的相机参数从第一多视角图像的图像特征中提取出上下文特征，并对上下文特征和对齐后的点云数据进行外积操作和体素池化操作，获得鸟瞰图BEV特征，BEV特征用于对至少一个机器视觉任务进行学习。在上述方案的实现过程中，通过获得的鸟瞰图BEV特征来表征几何深度信息特征，由于该BEV特征是对时序立体匹配的点云数据和深度估计出的点云数据进行融合、归一化处理和对齐，获得对齐后的点云数据，并对多视角图像的图像特征中提取的上下文特征与对齐后的点云数据进行外积操作和体素池化操作获得的，因此，该BEV特征是能够表征感知世界的视角或坐标系的特征，所以该BEV特征也能够表征几何深度信息特征，从而通过使用BEV特征对机器视觉任务进行学习，能够有效地避免自动驾驶汽车在行驶时的安全隐患。
[0005]可选地，在本申请实施例中，对第一多视角图像的图像特征与第二多视角图像的图像特征进行时序立体匹配，包括：计算第一多视角图像的图像特征与第二多视角图像的图像特征之间的单应性矩阵；获取上一时刻的深度信息，使用单应性矩阵对上一时刻的深度信息进行深度估计，获得当前时刻的深度信息；对当前时刻的深度信息和第一多视角图像的图像特征进行网格采样，获得特征体；对特征体和第一多视角图像的图像特征进行组
相关相似度计算，获得代价体；对代价体进行正则化，获得匹配的点云数据。在上述方案的实现过程中，通过使用单应性矩阵对上一时刻的深度信息进行深度估计，从而获得深度感知更精确匹配的点云数据，提高了最终获得的BEV特征精度。
[0006]可选地，在本申请实施例中，对第一多视角图像的图像特征进行深度估计，包括：使用单目深度估计网络对第一多视角图像的图像特征进行点云预测估计，获得估计出的点云数据，单目深度估计网络是使用激光雷达获取的点云数据训练获得的。在上述方案的实现过程中，通过使用单目深度估计网络来进行深度估计的方式，对多视时序立体匹配的计算结果进行补偿，从而使得深度信息的估计更加准确，提高了点云数据的估计精度。
[0007]可选地，在本申请实施例中，对估计出的点云数据和匹配的点云数据进行融合、归一化处理和对齐，包括：对估计出的点云数据和匹配的点云数据进行融合，获得融合的点云数据；对融合的点云数据进行归一化，获得归一化后的点云数据；对归一化的点云数据进行对齐，获得对齐后的点云数据。在上述方案的实现过程中，通过对估计出的点云数据和匹配的点云数据进行融合、归一化处理和对齐，从而增加了点云数据在时域和空域上对齐的鲁棒性。
[0008]可选地，在本申请实施例中，相机参数包括：内部参数和外部参数；根据第一多视角图像的相机参数从第一多视角图像的图像特征中提取出上下文特征，包括：将内部参数和外部参数进行展平和拼接，获得参数输入向量，并将参数输入向量扩展为多维向量；使用多维向量对图像特征进行加权融合，获得上下文特征。在上述方案的实现过程中，通过将内部参数和外部参数进行展平和拼接后的参数输入向量作为加权融合的一部分，从而进一步地高了深度估计的质量。
[0009]可选地，在本申请实施例中，对上下文特征和对齐后的点云数据进行外积操作和体素池化操作，包括：对上下文特征和对齐后的点云数据进行外积操作，获得点云特征；对点云特征进行体素池化操作，获得BEV特征。在上述方案的实现过程中，通过：对上下文特征和对齐后的点云数据进行外积操作，获得点云特征，并对点云特征进行体素池化操作，从而增加点云数据在时域上对齐的鲁棒性。
[0010]可选地，在本申请实施例中，至少一个机器视觉任务包括：自动驾驶场景中的目标检测任务、地图语义分割任务和/或运动轨迹预测任务；在获得鸟瞰图BEV特征之后，还包括：获取多个时刻的BEV特征，多个时刻的BEV特征包括：当前时刻对应的BEV特征；对多个时刻的BEV特征进行拼接融合，获得BEV融合特征；使用BEV融合特征对目标检测任务、地图语义分割任务和/或运动轨迹预测任务进行学习。在上述方案的实现过程中，通过使用BEV融合特征同时对目标检测任务、地图语义分割任务和运动轨迹预测任务进行学习，从而实现端到端的多任务学习，且在不同任务之间的相互促进及提升性能，避免了每个任务单独割裂学习训练的情况，有效地节约了多个任务训练的计算资源。
[0011]本申请实施例还提供了一种自动驾驶BEV任务学习装置，包括：图像特征提取模块，用于获取自动驾驶场景中的当前时刻的第一多视角图像，并提取出第一多视角图像的图像特征，多视角图像是同一时刻从自动驾驶场景中的自动驾驶车辆的多个视角拍摄的图像；时序立体匹配模块，用于获取上一时刻的第二多视角图像的图像特征，并对第一多视角图像的图像特征与第二多视角图像的图像特征进行时序立体匹配，获得匹配的点云数据，第一多视角图像的拍摄视角与第二多视角图像的拍摄视角是相同的；图像深度估计模块，
用于对第一多视角图像的图像特征进行深度估计，获得估计出的点云数据，并对估计出的点云数据和匹配的点云数据进行融合、归一化处理和对齐，获得对齐后的点云数据；BEV特征获得模块，用于根据第一多视角图像的相机参数从第一多视角图像的图像特征中提取出上下文特征，并对上下文特征和对齐后的点云数据进行外积操作和体素池化操作，获得鸟瞰图BEV特征，BEV特征用于对至少一个机器视觉任务进行学习。
[0012]可选地，在本申请实施例中，时序立体匹配模块，包括：单应矩阵计算子模块，用于计算第一多视角图像的图像特征与第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶BEV任务学习方法，其特征在于，包括：获取自动驾驶场景中的当前时刻的第一多视角图像，并提取出所述第一多视角图像的图像特征，所述多视角图像是同一时刻从所述自动驾驶场景中的自动驾驶车辆的多个视角拍摄的图像；获取上一时刻的第二多视角图像的图像特征，并对所述第一多视角图像的图像特征与所述第二多视角图像的图像特征进行时序立体匹配，获得匹配的点云数据，所述第一多视角图像的拍摄视角与所述第二多视角图像的拍摄视角是相同的；对所述第一多视角图像的图像特征进行深度估计，获得估计出的点云数据，并对所述估计出的点云数据和所述匹配的点云数据进行融合、归一化处理和对齐，获得对齐后的点云数据；根据所述第一多视角图像的相机参数从所述第一多视角图像的图像特征中提取出上下文特征，并对所述上下文特征和所述对齐后的点云数据进行外积操作和体素池化操作，获得鸟瞰图BEV特征，所述BEV特征用于对至少一个机器视觉任务进行学习。2.根据权利要求1所述的方法，其特征在于，所述对所述第一多视角图像的图像特征与所述第二多视角图像的图像特征进行时序立体匹配，包括：计算所述第一多视角图像的图像特征与所述第二多视角图像的图像特征之间的单应性矩阵；获取所述上一时刻的深度信息，使用所述单应性矩阵对所述上一时刻的深度信息进行深度估计，获得当前时刻的深度信息；对所述当前时刻的深度信息和所述第一多视角图像的图像特征进行网格采样，获得特征体；对所述特征体和所述第一多视角图像的图像特征进行组相关相似度计算，获得代价体；对所述代价体进行正则化，获得所述匹配的点云数据。3.根据权利要求1所述的方法，其特征在于，所述对所述第一多视角图像的图像特征进行深度估计，包括：使用单目深度估计网络对所述第一多视角图像的图像特征进行点云预测估计，获得估计出的点云数据，所述单目深度估计网络是使用激光雷达获取的点云数据训练获得的。4.根据权利要求1所述的方法，其特征在于，所述对所述估计出的点云数据和所述匹配的点云数据进行融合、归一化处理和对齐，包括：对所述估计出的点云数据和所述匹配的点云数据进行融合，获得融合的点云数据；对所述融合的点云数据进行归一化，获得归一化后的点云数据；对所述归一化的点云数据进行对齐，获得所述对齐后的点云数据。5.根据权利要求1所述的方法，其特征在于，所述相机参数包括：内部参数和外部参数；所述根据所述第一多视角图像的相机参数从所述第一多视角图像的图像特征中提取出上下文特征，包括：将所述内部参数和...

【专利技术属性】
技术研发人员：郝坤坤，黄浴，潘余曦，杨子江，
申请(专利权)人：西安深信科创信息技术有限公司，
类型：发明
国别省市：