本申请涉及自动驾驶技术领域，特别涉及一种车辆的鸟瞰图生成方法、装置、车辆及存储介质，其中，方法包括：获取车辆周围的多个感知信息并提取对应的二维特征图；按预设变换策略对每个二维特征图进行几何变换，得到第一特征图并进行特征融合和空间转换，得到不同时刻的单帧特征图；在当前时刻车辆坐标系下进行空间维度和时序维度的融合，生成第二特征图；根据第二特征图获取车辆周围的动态和静态障碍物特征，并基于动态和静态障碍物特征生成车辆周围的鸟瞰图。由此，本申请可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。提高整个系统的鲁棒性。提高整个系统的鲁棒性。
【技术实现步骤摘要】
车辆的鸟瞰图生成方法、装置、车辆及存储介质
[0001]本申请涉及自动驾驶
，特别涉及一种车辆的鸟瞰图生成方法、装置、车辆及存储介质。
技术介绍
[0002]自动驾驶系统是智能汽车的核心系统之一，其中的感知模块作为整个系统的上游，其感知质量的好坏直接影响整个自动驾驶系统的性能。
[0003]相关技术中，多数主机厂和自动驾驶解决方案供应商的感知模块架构基于感知后融合，即分别对单个摄像头的图像进行感知，然后利用基于逻辑的后处理对感知结果进行后融合。
[0004]然而，上述框架存在诸多的问题，其中，最突出的一点是：由于需要基于规则进行后处理，且视觉模块的后处理较为繁杂，因此方案鲁棒性差，无法处理一些重要的工况，特别是对于十字路口和环岛这样的复杂道路结构，方案的后融合处理的精度不高。同时，对于动态障碍物cut
‑
in(插入)的场景，使用后融合的鲁棒性也较差。
技术实现思路
[0005]本申请提供一种车辆的鸟瞰图生成方法、装置、车辆及存储介质，可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。
[0006]本申请第一方面实施例提供一种车辆的鸟瞰图生成方法，包括以下步骤：获取车辆周围的多个感知信息；提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。
[0007]根据上述技术手段，本申请实施例可以接收环绕车身360度的多个摄像头原始二维图像输入和/或激光雷达输入，并直接输出鸟瞰图视角下的感知信息，减少后处理的工作量，提高整个系统的鲁棒性。
[0008]进一步地，所述按照预设变换策略对每个二维特征图进行几何变换得到第一特征图，包括：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。
[0009]根据上述技术手段，本申请实施例可以利用相机的内参和外参构造逆透视变换矩阵，获得鸟瞰图特征图上每一点在二维特征图上的对应点，根据逆透视变换矩阵得到鸟瞰图的第一特征图，由此可以将空间单应性变换作用于二维特征图上，有效利用原始图像信息，特征图生成结果更准确和稳定。
[0010]进一步地，所述对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，包括：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
[0011]根据上述技术手段，本申请实施例可以引入时序信息，使得所有不同时刻的特征都在同一个统一的坐标系下(即当前时刻车体坐标系)，由此可以通过一种更简便的融合方式准确有效地获取特征融合后的单帧特征图，使得特征信息能够有效重叠而不至于错位，操作更简单快捷，提升融合效率和融合结果准确性。
[0012]进一步地，所述根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，包括：将所述第二特征图输入至预先建立的第一解码器，对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。
[0013]根据上述技术手段，本申请实施例可以通过动态解码和静态解码实现在鸟瞰图视角下的旋转框检测，并基于点检测和点实例聚类，输出每个点的切线方向，通过简单的后处理将道路静态信息进行向量化，由此可以有效解决后处理复杂的问题，减少感知后处理的工作量，直接在鸟瞰图视角输出规划控制需要的所有必要信息，解码过程更完善和准确，提升整个感知系统的鲁棒性。
[0014]进一步地，所述基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图，包括：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。
[0015]根据上述技术手段，本申请实施例可以将激光雷达输入作为一个选择分支，在实现多视角融合外，还能同时融合激光雷达和视觉，处理多模态信息，提升综合信息处理能力，对于鸟瞰图生成的特征考虑更全面，提高生成结果准确性和全面性。
[0016]本申请第二方面实施例提供一种车辆的鸟瞰图生成装置，包括：获取模块，用于获取车辆周围的多个感知信息；第一变换模块，用于提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；第二变换模块，用于对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；生成模块，用于根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。
[0017]进一步地，所述第一变换模块用于：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。
[0018]进一步地，所述第二变换模块用于：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。
[0019]进一步地，所述生成模块用于：将所述第二特征图输入至预先建立的第一解码器，
对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。
[0020]进一步地，所述生成模块进一步用于：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。
[0021]本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的鸟瞰图生成方法。
[0022]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车辆的鸟瞰图生成方法，其特征在于，包括以下步骤：获取车辆周围的多个感知信息；提取每个感知信息的二维特征图，按照预设变换策略对每个二维特征图进行几何变换，得到第一特征图；对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，并在当前时刻车辆坐标系下对所述不同时刻的单帧特征图进行空间维度和时序维度的融合，生成第二特征图；根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，并基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图。2.根据权利要求1所述的方法，其特征在于，所述按照预设变换策略对每个二维特征图进行几何变换得到第一特征图，包括：获取所述第一特征图与每个二维特征图上的对应点；根据预先构造完成的逆透视变换矩阵将所述对应点用于在所述每个二维特征图上，得到所述第一特征图。3.根据权利要求1所述的方法，其特征在于，所述对所有第一特征图进行特征融合和空间转换，得到不同时刻的单帧特征图，包括：提取每个第一特征图之间的特征关系，基于所述特征关系进行特征融合，得到当前时刻单帧特征图；将所述当前时刻单帧特征图和历史多个时刻的单帧特征图转换至所述当前时刻车辆坐标系下，得到不同时刻的单帧特征图。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征图获取所述车辆周围的动态障碍物特征和静态障碍物特征，包括：将所述第二特征图输入至预先建立的第一解码器，对所述第二特征图进行动态障碍物语义信息的解码，得到所述动态障碍物特征；将所述第二特征图输入至预先建立的第二解码器，对所述第二特征图进行静态障碍物语义信息的解码，得到所述静态障碍物特征。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述基于所述动态障碍物特征和所述静态障碍物特征生成所述车辆周围的鸟瞰图，包括：获取所述车辆的激光雷达的点云数据；将所述点云数据输入至预先建立完成的点云特征提取模型，输出所述点云数据的点云特征；将所述点云特征、所述动态障碍物特征和所述静态障碍物特征融合，得到所述车辆周围的鸟瞰图。6.一种车辆的鸟瞰图生成装置，其特征在于，包括：获取模块，用于获取车辆周围的多个感知...
【专利技术属性】
技术研发人员：詹东旭，单玉梅，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。