【技术实现步骤摘要】
本专利技术属于自动驾驶，具体涉及一种使用多帧和渲染监督的自动驾驶占用格预测方法。
技术介绍
1、在自动驾驶领域，传统的鸟瞰图(bev)目标检测方法一直是关键任务，旨在从环境中识别和定位预定义类别的对象。bevformer是一种基于transformer模型的纯视觉感知方法，专注于从多摄像头图像中生成鸟瞰图特征，通过空间交叉注意力和时间自注意力来有效地查询和融合图像特征，支持3d物体检测和语义地图分割等任务。随着技术的发展，occupancy预测逐渐成为主流，它不仅需要精确的几何感知，还需要对场景中的物体进行语义分类。occupancy预测任务旨在预测三维空间中每个体素的语义占用情况，通过预测每个体素的占用状态，自动驾驶系统可以更好地理解和导航复杂的环境，从而提高行驶的安全性和稳定性。
2、gaussianformer是一种基于3d高斯分布的3d语义占用预测模型，主要用于自动驾驶场景中的三维场景重建和语义理解。然而，目前像gaussianformer这一类的方法，没有充分利用标注的数据，特别是前后帧之间的标注数据对于训练过程进行监督。标注数据的获取成本非常高，因为需要大量的人力和时间来手动标注每一帧图像中的物体和场景信息。此外，标注过程还需要高水平的专业知识，以确保数据的准确性和一致性。充分利用标注数据进行监督，不仅可以提高模型的预测精度，还可以增强模型在不同场景和条件下的鲁棒性。因此，如何充分利用这些高成本获取的标注数据，特别是前后帧之间的时间信息，对整个预测过程进行有效监督，是一个非常有价值且亟待解决的问题。这不仅
技术实现思路
1、为解决上述问题，本专利技术提出一种使用多帧和渲染监督的自动驾驶占用格预测方法，该方法将其中一帧预测的结果，通过标注的信息和前后两帧车辆的位置转换到另一帧，并通过另一帧的标注数据对于这一帧的预测进行监督，这种方式可以保证在标注数据分辨率较低的情况下，对于自动驾驶场景空间中的占用有更好的预测。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种使用多帧和渲染监督的自动驾驶占用格预测方法，包括以下步骤：
4、s1、将主视角图像的数据输入到gaussianformer模型的处理流程，得到预测的空间中主视角语意高斯点云；再采用gaussianformer模型的处理流程，使用主视角空间占用格预测和主视角空间占用格标注，得到主视角占用格预测损失；
5、s2、将主视角语意高斯点云使用三维动态物体标注，通过点云转换过程，转换得到辅助视角语意高斯点云；
6、s3、采用gaussianformer模型的处理流程，使用辅助视角空间占用格预测和辅助视角空间占用格标注，得到辅助视角占用格预测损失；
7、s4、采用图像语意提取网络，对于主视角图像和辅助视角图像的图片分别进行语意信息的提取，得到主视角语意图和辅助视角语意图；
8、s5、通过语意渲染，将主视角语意高斯点云和辅助视角语意高斯点云在主视角图像和辅助视角图像位置分别进行渲染，得到主视角语意渲染图和辅助视角语意渲染图；
9、s6、联合使用主视角语意图和主视角语意渲染图以及辅助视角语意图和辅助视角语意渲染图，得到语意渲染损失。
10、优选地，步骤s1中所述数据为自动驾驶场景两个相邻时刻的多视角、多帧的图片及其相机参数。
11、优选地，步骤s2的具体过程为：
12、s21、使用三维动态物体标注判断主视角语意高斯点云中的点是否在标注内；
13、s22、将位于标注内的点，对于其高斯点云的位置和旋转四元组进行转换，得到辅助视角语意高斯点云。
14、优选地，步骤s2中所述三维动态物体标注包括每个占用格的位置和类别。
15、优选地，步骤s6的具体过程为：对于主视角语意图、主视角语意渲染图之间计算l2loss，得到主视角语意渲染损失；对于辅助视角语意图和辅助视角语意渲染图之间计算l2loss，得到辅助视角语意渲染损失；再将主视角语意渲染损失和辅助视角语意渲染损失相加，得到全局的语意渲染损失。
16、采用上述技术方案后，本专利技术具有如下有益效果：本专利技术将其中一帧预测的结果，通过标注的信息和前后两帧车辆的位置转换到另一帧，并通过另一帧的标注数据对于这一帧的预测进行监督，这种方式可以保证在标注数据分辨率较低的情况下，对于自动驾驶场景空间中的占用有更好的预测。同时，2d图像与三维空间的结合能够提高模型的鲁棒性和泛化能力，通过多视角的2d图像数据，可以更全面地捕捉场景中的细节和变化，从而提高三维重建和物体检测的精度；在自动驾驶感知中，使用2d信息对三维空间进行监督能有效提升模型的性能和可靠性，这种方法为自动驾驶系统提供了更全面、更精确的环境感知能力，从而提高行驶的安全性和稳定性。因此，在gaussianformer模型的形式下，本专利技术通过使用预测的高斯点对于某一个视角的语意进行渲染，渲染的结果和原本2d的语意的预测进行比较，来保证预测的空间中语意的高斯点进行细粒度的监督。
本文档来自技高网...【技术保护点】
1.一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于：步骤S1中所述数据为自动驾驶场景两个相邻时刻的多视角、多帧的图片及其相机参数。
3.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于，步骤S2的具体过程为：
4.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于：步骤S2中所述三维动态物体标注包括每个占用格的位置和类别。
5.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于，步骤S6的具体过程为：对于主视角语意图、主视角语意渲染图之间计算L2 Loss，得到主视角语意渲染损失；对于辅助视角语意图和辅助视角语意渲染图之间计算L2 Loss，得到辅助视角语意渲染损失；再将主视角语意渲染损失和辅助视角语意渲染损失相加，得到全局的语意渲染损失。
【技术特征摘要】
1.一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于：步骤s1中所述数据为自动驾驶场景两个相邻时刻的多视角、多帧的图片及其相机参数。
3.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格预测方法，其特征在于，步骤s2的具体过程为：
4.如权利要求1所述的一种使用多帧和渲染监督的自动驾驶占用格...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。