【技术实现步骤摘要】
本公开涉及自动驾驶，尤其涉及一种基于深度学习的自动驾驶仿真图像增强方法及装置。
技术介绍
1、自动驾驶仿真传感器仿真技术在搭建数据驱动的自动驾驶算法(如深度学习感知和规划算法)中起到了非常关键的作用。不仅能大规模、低成本的生成重要的驾驶场景数据和/或罕见的边缘驾驶场景数据(图像数据)，有效降低了数据采集的经济成本时间成本；而且还能直接生成一些通过现有传感器难以采集到的数据，如深度和视差真值。
2、主流的自动驾驶仿真传感器仿真框架如carla、airsim、prescan和vtd等，都是使用游戏引擎来渲染车辆的驾驶场景，以获得自动驾驶算法所需的相关图像数据。
3、而现有技术中，由基于游戏引擎的自动驾驶仿真传感器仿真技术所生成的图像数据，相比于真实数据，通常存在渲染精度低、光影效果差、物体材质异常的问题。因此，直接利用仿真软件生成的图像数据进行自动驾驶算法/模型训练时，训练效果并不理想。
技术实现思路
1、有鉴于此，本申请提出一种基于深度学习的自动驾驶仿真图像增强方法及装置，以解决上述问题。
2、本申请一方面，提出一种基于深度学习的自动驾驶仿真图像增强方法，包括如下步骤：
3、将仿真图像对应的g缓冲图像输入g缓冲编码器，得到g缓冲特征；
4、将所述g缓冲特征与所述仿真图像输入训练后的生成器，输出增强后的仿真图像。
5、作为本申请的一可选实施方案，可选地，所述将仿真图像对应的g缓冲图像输入g缓冲编码器，得到g缓冲特征
6、提取所述g缓冲图像中的目标缓冲；
7、将所述目标缓冲输入训练好的所述g缓冲编码器，进行归一化处理，得到归一化缓冲结果；
8、获取所述g缓冲图像中的深度缓冲，并参照rgb虚拟相机示例的内参，将所述深度缓冲的每一像素按照预设投影方式投影至三维空间，得到三维点云；
9、将所述归一化缓冲结果、所述深度缓冲和所述g缓冲图像中的法线缓冲叠加后，映射至所述三维点云，得到点特征点云；
10、将所述点特征点云输入预设点云网络，得到点云特征；
11、按照所述预设投影方式，将所述点云特征投影至2d平面，得到所述g缓冲特征。
12、作为本申请的一可选实施方案，可选地，所述方法还包括：获取所述训练后的生成器，具体包括：
13、分别获取仿真数据集和真实数据集；
14、分别对所述仿真数据集和所述真实数据集进行图像分块，并按照预设方式进行图像块匹配，得到模型训练数据集；
15、将所述仿真数据集中每一张分块后的仿真图像块对应的g缓冲图像块，输入所述g缓冲编码器，得到训练g缓冲特征；
16、将所述训练g缓冲特征与所述模型训练数据集中的所述仿真图像块，输入预训练后的生成器，输出增强后的仿真训练图像；其中，该仿真训练图像即为训练过程中生成的增强后的仿真图像；
17、将所述增强后的仿真训练图像和所述模型训练数据集中的真实图像块输入判别器，计算判别损失，进行反向传播训练，以获取所述训练后的生成器。
18、作为本申请的一可选实施方案，可选地，在获取所述仿真数据集时，包括：
19、预先进行场景搭建；且在场景搭建时，构造数据采集车实例，并在采集车辆的预设位置处构建rgb虚拟相机实例和对应的语义分割相机实例；
20、对所述rgb虚拟相机实例返回的rgb图像队列进行采集，得到仿真rgb图像；
21、对所述语义分割相机实例返回的语义分割队列进行采集，得到语义分割真值图；且所述语义分割真值图与所述仿真rgb图像相对齐；
22、提取所述rgb虚拟相机实例进行图像渲染时的g缓冲图像。
23、作为本申请的一可选实施方案，可选地，在获取所述真实数据集时，包括：
24、设定关键帧提取指标；
25、计算关键帧图像与当前帧图像之间的所述关键帧提取指标；
26、判断所述关键帧提取指标是否小于关键帧阈值；
27、若是，将所述当前帧图像更新为关键帧图像，提取更新后的关键帧图像组成所述真实数据集；
28、若否，重新计算所述关键帧图像与所述下一帧图像之间的所述关键帧提取指标，直至完成所述路采视频中全部视频帧图像的计算；
29、其中，所述下一帧图像为所述当前帧图像之后的一帧图像。
30、作为本申请的一可选实施方案，可选地，所述关键帧阈值的计算过程，包括：
31、确定所述关键帧提取指标中的最大值和最小值；
32、在所述最大值和所述最小值之间平均设定预设数量的区间，并统计每个所述区间内的值的数量和概率密度；
33、遍历每个所述区间，分别计算左侧区间和当前区间的总概率和方差，以及右侧区间的总概率和方差，对应得到每个所述区间的第一计算结果和第二计算结果；
34、将所述第一计算结果和所述第二计算结果加和后，对应得到每个所述区间的组内方差；
35、确定所有所述组内方差中的最大组内方差，并获取所述最大组内方差对应的区间的中位值，得到关键帧阈值。
36、作为本申请的一可选实施方案，可选地，所述分别对所述仿真数据集和所述真实数据集进行图像分块，并按照预设方式进行图像块匹配，得到模型训练数据集，包括：
37、预设图像选择区间，并随机抽取所述图像选择区间中二维点；
38、基于所述二维点分别从所述仿真数据集中抽取虚拟图像块集合，从所述真实数据集中抽取真实图像块集合；
39、预设图像块匹配指标，并利用所述图像块匹配指标分别计算所述虚拟图像块集合中的虚拟图像块特征张量，及所述真实图像块集合中的真实图像块特征张量；
40、计算与所述真实图像块特征张量距离相匹配的虚拟图像块特征张量，构建图像对，并将所述图像对组合为模型训练数据集。
41、作为本申请的一可选实施方案，可选地，所述将所述训练g缓冲特征与所述模型训练数据集中的仿真图像块输入预训练后的生成器，输出增强后的仿真训练图像，包括：
42、预先训练生成器，得到所述生成器的预训练权重；
43、将所述g缓冲特征和所述仿真图像块输入经过所述预训练权重加载后的所述生成器，输出增强后的仿真训练图像。
44、作为本申请的一可选实施方案，可选地，所述预先训练生成器，得到所述生成器的预训练权重，包括：
45、预先设定图像随机掩码；
46、将所述真实数据集经过所述图像随机掩码处理后，得到生成器训练集；
47、基于所述生成器训练集对所述生成器进行自监督训练，得到所述生成器的预训练权重。
48、作为本申请的一可选实施方案，可选地，所述将所述增强后的仿真训练图像和所述模型训练数据集中的真实图像块输入判别器，计算判别损失，进行反向传播训练，以获取所述训练后的生成器，包括：
49、将所述增强本文档来自技高网...
【技术保护点】
1.一种基于深度学习的自动驾驶仿真图像增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述将仿真图像对应的G缓冲图像输入G缓冲编码器，得到G缓冲特征，包括：
3.根据权利要求1所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述方法还包括：获取所述训练后的生成器，具体包括：
4.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，在获取所述真实数据集时，包括：
5.根据权利要求4所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述关键帧阈值的计算过程，包括：
6.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述分别对所述仿真数据集和所述真实数据集进行图像分块，并按照预设方式进行图像块匹配，得到模型训练数据集，包括：
7.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述将所述训练G缓冲特征与所述模型训练数据集中的仿真图像块输入预训练后的生成器，输出增强
8.根据权利要求7所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述预先训练生成器，得到所述生成器的预训练权重，包括：
9.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述将所述增强后的仿真训练图像和所述模型训练数据集中的真实图像块输入判别器，计算判别损失，进行反向传播训练，以获取所述训练后的生成器，包括：
10.一种装置，用于实现权利要求1-9任一项所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于深度学习的自动驾驶仿真图像增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述将仿真图像对应的g缓冲图像输入g缓冲编码器，得到g缓冲特征，包括：
3.根据权利要求1所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述方法还包括：获取所述训练后的生成器，具体包括：
4.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，在获取所述真实数据集时，包括：
5.根据权利要求4所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述关键帧阈值的计算过程，包括：
6.根据权利要求3所述的基于深度学习的自动驾驶仿真图像增强方法，其特征在于，所述分别对所述仿真数据集和所述真实数据集进行图像分块...
【专利技术属性】
技术研发人员：陈牧，鲁耀杰，
申请(专利权)人：元橡科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。