一种真实和仿真数据增强的道路栅格地图构建方法、系统技术方案

本发明专利技术旨在通过图像进行语义理解同时获取当前范围内的可见类别的语义分类，并在此基础上对被遮挡的道路区域进行预测，获取完整的道路区域。并通过仿真数据与真实数据联合训练解决单以真实训练数据训练模型难以获得精确的完整道路区域检测效果的问题。在此基础上构建道路栅格地图表示车辆前方的完整道路情况。建道路栅格地图表示车辆前方的完整道路情况。建道路栅格地图表示车辆前方的完整道路情况。

A road grid map construction method and system enhanced by real and simulated data

【技术实现步骤摘要】
一种真实和仿真数据增强的道路栅格地图构建方法、系统


[0001]本专利技术涉及自动驾驶
，特别涉及基于真实和仿真数据增强的无遮挡道路检测模型的训练方法、道路栅格地图的构建系统以及道路识别方法。

技术介绍

[0002]道路检测是智能汽车环境感知领域的重要技术之一。基于视觉的方法主要根据RGB图像的颜色和纹理特征来实现像素级的分类获取可见的道路区域。当前领先的道路分割算法大都基于深度学习方法。
[0003]根据RGB图像的颜色和纹理特征来实现像素级的分类只能获取可见的道路区域。实际应用中，完整的道路区域表示能更好地表达车辆周围的道路分布情况，更好地服务于规划控制模块。但由于道路常常被路上目标等遮挡，导致部分路面区域不可见。另外，基于深度学习的方法的性能与训练数据的数量密切相关，通过对真实世界的数据进行标注获取训练数据耗时耗力。

技术实现思路

[0004]本专利技术旨在通过图像进行语义理解同时获取当前范围内的可见类别的语义分类，并在此基础上对被遮挡的道路区域进行预测，获取完整的道路区域。并通过仿真数据与真实数据联合训练解决单以真实训练数据训练模型难以获得精确的完整道路区域检测效果的问题。在此基础上构建道路栅格地图表示车辆前方的完整道路情况。其具体技术方案如下所述。
[0005]作为第一方面，本专利技术提供了一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于，所述步骤包括：
[0006]S1，构建用于训练无遮挡道路分割模型的真实训练数据集和仿真训练数据集；
[0007]S2，构建无遮挡道路检测模型；
[0008]S3，根据真实训练数据集和仿真训练数据集对无遮挡道路检测模型进行训练；
[0009]S4，根据训练结果，构建道路栅格地图；
[0010]S5，在车端部署步骤S1
‑
S4所述的道路栅格地图构建方法。
[0011]其中，作为上述步骤的进一步优化，其各步骤优化如下：
[0012]S1，构建用于训练无遮挡道路分割模型的训练数据，包括：
[0013]获取真实世界驾驶场景下的图像数据，通过人工标注获取真实世界数据，构建真实训练数据集，记作D
r
＝{(I
r
,S
r
,L
r
)|I
r
∈Q
H
×
W
×3,S
r
∈Q
H
×
W
×
C
,L
r
∈Q
H
×
W
×2}，其中I
r
为RGB图像；S
r
为其对应的语义分割标注结果，C为标注的语义类别数量；L
r
为其对应的道路分割标注结果；H和W分别为图像的高和宽；
[0014]通过在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同车辆采集的数据获取不同动态场景下的标注结果，构建仿真训练数据集，记作D
s
＝{(I
s
,S
s
,L
s
)|I
s
∈Q
H
×
W
×3,S
s
∈Q
H
×
W
×
C
,L
s
∈Q
H
×
W
×2}，其中I
s
为RGB图像；S
s
为其对
应的语义分割标注结果，C为标注的语义类别数量；L
s
为其对应的道路分割标注结果；
[0015]S2，构建无遮挡道路检测模型，其检测任务的输入信息形式为RGB图像I∈Q
H
×
W
×3的语义分割标签的独热热编或预测的语义分割概率张量S∈[0,1]H
×
W
×
C
，其中H为图像的宽度，W为其高度，C为语义类别数量；检测任务的输出是张量O∈[0,1]H
×
W
×2，包含每个像素属于道路和非道路类别的概率，不管道路是否被遮挡；
[0016]S3，利用构建的真实训练数据集和仿真训练数据集对步骤S2中构建的无遮挡道路检测模型进行训练，算法将道路检测视为像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，获得无遮挡道路检测数据；
[0017]S4，根据无遮挡道路检测数据，通过逆透视变换和相机的外参构建道路栅格地图。
[0018]结合第一方面，在其可能发生的任意一种情况下的第一种情况为，构建真实训练数据集包括以下步骤：
[0019]采集真实世界驾驶场景下的图像数据I
r
∈Q
H
×
W
×3，图像数据包含不同位置、不同天气、不同光照等条件下的驾驶场景的颜色和纹理信息；
[0020]人工标注所采集的数据的语义信息，构建语义标签S
r
∈Q
H
×
W
×
C
；
[0021]人工标注所采集数据的道路分割标签L
r
∈Q
H
×
W
×2，对于所标注的像素，不管该像素是否被前景目标遮挡，都标注为道路类别，其余为非道路类别；
[0022]构建仿真训练数据集包含以下步骤：
[0023]构建仿真动态驾驶场景和具备图像采集功能的虚拟车辆，控制车辆在仿真动态驾驶场景中行驶，所述动态驾驶场景指该虚拟场景中同时包含其他虚拟的交通参与者，记录虚拟车辆在仿真环境行驶中的图像和位置信息D
dy
＝{(I
dy
,S
dy
,G
dy
)}；
[0024]构建仿真静态驾驶场景，所述静态驾驶场景为所述仿真动态驾驶场景中去除动态交通参与者和遮挡道路的前景目标之后的仿真环境，记录虚拟车辆在行驶过程中的数据，即D
st
＝{(I
st
,L
st
,G
st
)}；
[0025]根据位置信息进行匹配，对于位置误差小于阈值的数据帧，构建仿真训练数据集D
s
＝{(I
dy
,S
dy
,L
st
)}。
[0026]结合第一方面或上述第一种情况，在其可能发生的任意一种情况下的第二种情况为，所构建的无遮挡道路检测模型包含输入层、下采样层、残差卷积层、上采样层和输出层，其中：
[0027]输入层，为RGB图像的语义分割结果；
[0028]下采样层，通过步长为m的上下文卷积模块实现对输入特征的下采样，所述下采样层增加了一个上下文分支，和主干卷积并行；首本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于，所述步骤包括：S1，构建用于训练无遮挡道路分割模型的真实训练数据集和仿真训练数据集；S2，构建无遮挡道路检测模型；S3，根据真实训练数据集和仿真训练数据集对无遮挡道路检测模型进行训练；S4，根据训练结果，构建道路栅格地图；S5，在车端部署步骤S1
‑
S4所述的道路栅格地图构建方法。2.根据权利要求1所述的一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于，所述步骤包括：S1，构建用于训练无遮挡道路分割模型的训练数据，包括：获取真实世界驾驶场景下的图像数据，通过人工标注获取真实世界数据，构建真实训练数据集，记作D
r
＝{(I
r
,S
r
,L
r
)|I
r
∈Q
H
×
W
×3,S
r
∈Q
H
×
W
×
C
,L
r
∈Q
H
×
W
×2}，其中I
r
为RGB图像；S
r
为其对应的语义分割标注结果，C为标注的语义类别数量；L
r
为其对应的道路分割标注结果；H和W分别为图像的高和宽；通过在仿真环境中构建多样化的驾驶场景，分别在静态环境和动态交通环境下，对比在同一位置下相同车辆采集的数据获取不同动态场景下的标注结果，构建仿真训练数据集，记作D
s
＝{(I
s
,S
s
,L
s
)|I
s
∈Q
H
×
W
×3,S
s
∈Q
H
×
W
×
C
,L
s
∈Q
H
×
W
×2}，其中I
s
为RGB图像；S
s
为其对应的语义分割标注结果，C为标注的语义类别数量；L
s
为其对应的道路分割标注结果；S2，构建无遮挡道路检测模型，其检测任务的输入信息形式为RGB图像I∈Q
H
×
W
×3的语义分割标签的独热热编或预测的语义分割概率张量S∈[0,1]
H
×
W
×
C
，其中H为图像的宽度，W为其高度，C为语义类别数量；检测任务的输出是张量O∈[0,1]
H
×
W
×2，包含每个像素属于道路和非道路类别的概率，不管道路是否被遮挡；S3，利用构建的真实训练数据集和仿真训练数据集对步骤S2中构建的无遮挡道路检测模型进行训练，算法将道路检测视为像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，获得无遮挡道路检测数据；S4，根据无遮挡道路检测数据，通过逆透视变换和相机的外参构建道路栅格地图。3.根据权利要求2所述的一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于：构建真实训练数据集包括以下步骤：采集真实世界驾驶场景下的图像数据I
r
∈Q
H
×
W
×3，图像数据包含不同位置、不同天气、不同光照等条件下的驾驶场景的颜色和纹理信息；人工标注所采集的数据的语义信息，构建语义标签S
r
∈Q
H
×
W
×
C
；人工标注所采集数据的道路分割标签L
r
∈Q
H
×
W
×2，对于所标注的像素，不管该像素是否被前景目标遮挡，都标注为道路类别，其余为非道路类别；构建仿真训练数据集包含以下步骤：构建仿真动态驾驶场景和具备图像采集功能的虚拟车辆，控制车辆在仿真动态驾驶场景中行驶，所述动态驾驶场景指该虚拟场景中同时包含其他虚拟的交通参与者，记录虚拟车辆在仿真环境行驶中的图像和位置信息D
dy
＝{(I
dy
,S
dy
,G
dy
)}；构建仿真静态驾驶场景，所述静态驾驶场景为所述仿真动态驾驶场景中去除动态交通
参与者和遮挡道路的前景目标之后的仿真环境，记录虚拟车辆在行驶过程中的数据，即D
st
＝{(I
st
,L
st
,G
st
)}；根据位置信息进行匹配，对于位置误差小于阈值的数据帧，构建仿真训练数据集D
s
＝{(I
dy
,S
dy
,L
st
)}。4.根据权利要求3所述的一种真实和仿真数据增强的道路栅格地图构建方法，其特征在于：所构建的无遮挡道路检测模型包含输入层、下采样层、残差卷积层、上采样层和输出层，其中：输入层，为RGB图像的语义分割结果；下采样层，通过步长为m的上下文卷积模块实现对输入特征的下采样，所述下采样层增加了一个上下文分支，和主干卷积并行；首先采用n
×
n卷积和Softmax函数得到注意力权重，然后进行注意力池化，得到特征层的全局上下文特征；然后将全局上下文特征通过n
×
n卷积进行变换，并加入到主干卷积的特征图中；残差...

【专利技术属性】
技术研发人员：王科未，曹恺，骆嫚，万骞，陈乾坤，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：