基于增强视差图及多尺度不确定性感知的可行驶区域检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于增强视差图及多尺度不确定性感知的可行驶区域检测方法及装置，获取双目相机采集到道路的双目图像，对双目图像进行处理，得到视差图；采用表面法向量法对视差图进行特征增强，得到表面法向量图；构建可行驶区域分割模型并训练，得到经训练的可行驶区域分割模型，可行驶区域分割模型包括依次连接的编码器模块、多尺度不确定性感知模块和解码器模块，编码器模块用于对表面法向量图进行特征提取，得到第一特征向量，输入多尺度不确定性感知模块用于对第一特征向量中的各像素点对应的权重进行重新设置，得到第二特征向量，解码器模块用于对第二特征向量进行解码，得到可行驶区域的分割结果，有效提高识别的准确度。确度。确度。

【技术实现步骤摘要】
基于增强视差图及多尺度不确定性感知的可行驶区域检测方法及装置


[0001]本专利技术涉及自动驾驶领域，具体涉及一种基于增强视差图及多尺度不确定性感知的可行驶区域检测方法及装置。

技术介绍

[0002]自动驾驶技术是近年来快速发展的领域，其应用范围涉及到许多方面，如智能交通系统、汽车制造和城市规划等。其中，在自动驾驶中，可行驶区域分割是一个关键问题，它可以将车辆的行驶区域与非行驶区域进行有效的区分，从而帮助车辆做出更准确的决策。目前，现有的可行驶区域分割方法主要基于计算机视觉技术和深度学习模型。这些方法主要通过对车载摄像头拍摄的图像进行处理，提取图像特征，并判断每个像素点属于行驶区域还是非行驶区域。但是，这些方法在处理不同环境下的图像时仍存在一定的局限性，例如在光照条件不佳、光照强度变化或道路标记不明确时会出现错误判断，从而严重影响自动驾驶的安全性。因此，设计一种能够应对复杂环境变化，尤其是光照影响，能够兼具高鲁棒性和高分割精度的方法具有重大意义。

技术实现思路

[0003]针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于增强视差图及多尺度不确定性感知的可行驶区域检测方法及装置，来解决以上
技术介绍
部分提到的技术问题。
[0004]第一方面，本专利技术提供了一种基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，包括以下步骤：
[0005]获取双目相机采集到道路的双目图像，对双目图像进行校正，得到校正后的图像，采用立体匹配算法对校正后的图像进行处理，得到视差图；
[0006]采用表面法向量法对视差图进行特征增强，得到表面法向量图；
[0007]构建可行驶区域分割模型并训练，得到经训练的可行驶区域分割模型，可行驶区域分割模型包括依次连接的编码器模块、多尺度不确定性感知模块和解码器模块，编码器模块用于对表面法向量图进行特征提取，得到第一特征向量，输入多尺度不确定性感知模块用于对第一特征向量中的各像素点对应的权重进行重新设置，得到第二特征向量，解码器模块用于对第二特征向量进行解码，得到可行驶区域的分割结果；
[0008]将表面法向量图输入经训练的可行驶区域分割模型，得到可行驶区域的分割结果。
[0009]作为优选，校正包括畸变校正和立体校正。
[0010]作为优选，采用表面法向量法对视差图进行特征增强，得到表面法向量图，具体包括：
[0011]采用水平图像梯度滤波器和垂直图像梯度滤波器对视差图中的每一个像素点进
行卷积操作，得到对应的水平法向量和垂直法向量：
[0012][0013][0014]其中，D表示视差图，fx和fy分别表示在x方向和y方向上的相机焦距；
[0015]对于视差图上的任意一点A，取与之相邻的若干个像素点，表示为一个集合：N
A
＝[G1,G2,......,G
m
]T
，并计算得到若干个像素点到点A之间在X、Y、Z三个方向上的距离集合：G
m
‑
A＝[ΔX
m
,ΔY
m
,ΔZ
m
]T
，其中，m∈[1,12]；
[0016]选择与A点相邻的其中一个像素点作为参考，结合水平法向量S
X
和垂直法向量S
Y
，得到A点在Z方向上的一种法向量S
Z
的表达形式：
[0017][0018]将S
Z
转化为球面坐标的形式：
[0019][0020]其中，α为倾角，β为方位角；
[0021]倾角α表示为：
[0022][0023]其中，i表示视差图中的第i个像素点，i＝1，2，
……
，n，n为视差图中的像素点的总数，S
Zi
表示Z方向上的球面坐标；P
i
＝S
xi cosβ+S
yi sinβ；S
xi
表示X方向上的球面坐标；S
yi
表示Y方向上的球面坐标；
[0024]方位角β表示为：
[0025][0026]对视差图中的每一个像素点重复以上步骤，得到对应的表面法向量图。
[0027]作为优选，编码器模块为依次连接的全连接层、批归一化层、ReLu激活函数层、最大池化层及四个编码器层构成的金字塔结构，编码器层以ResNet
‑
50作为Backbone，各层与ResNet各层相对应。
[0028]作为优选，多尺度不确定性感知模块中，对第一特征向量在三个不同尺度下分别进行卷积，得到三组卷积结果，对三组卷积结构分别进行上采样，再通过Softplus激活函数，得到三个尺度下的特征图：{[F0]l
,[F1]l
},l∈1,2,3，其中，F1为可行驶区域，F0为不可行驶区域；
[0029]对三个尺度下的特征图进行平均化操作，得到特征图的平均值：
[0030][0031]根据F1和F0得到Dirichlet强度图S：
[0032][0033]根据Dirichlet强度图S、F1和F0计算得到可行驶区域可信程度B0、可行驶区域可信程度B1和不确定性参数U：
[0034][0035][0036][0037]根据Dempster组合规则对行驶区域可信程度B0、可行驶区域可信程度B1和不确定性参数U进行优化，得到优化后的可信程度b0、b1和优化后的不确定性参数u：
[0038][0039][0040][0041]根据优化后的不确定性参数u，计算得到新的Dirichlet强度图S'：
[0042][0043]根据新的Dirichlet强度图S'和优化后的可信程度b0、b1，计算得到不可行驶区域关注参数δ0和可行驶区域关注参数δ1：
[0044][0045][0046]其中，表示元素级别的相乘，即对应的每一个像素点逐个进行乘法运算；
[0047]根据可行驶区域关注参数δ1和新的Dirichlet强度图计算得到可行驶区域概率图P：
[0048]以可行驶区域概率图P作为参考依据对特征向量每一个像素点的权重进行重新分配，得到第二特征向量。
[0049]作为优选，对第一特征向量在三个不同尺度下分别进行卷积，具体包括：
[0050]分别采用卷积核大小为1
×
1，3
×
3，3
×
3，扩张率分别为0，2，5的卷积层对第一特征向量进行卷积操作。
[0051]作为优选，解码器模块包括依次连接的五个解码器层和一个Softmax激活层，解码器层包括反卷积层、批归一化层、跳跃连接层和激活函数层。
[0052]第二方面，本专利技术提供了一种基于增强视差图及多尺度不确定性感知的可行驶区域检测装置，包括：
[0053]视差图获取模块，被配置为获取双目相机采集到道路的双目图像，对双目图像进行校正，得到校正后的图像，采用立体匹配算法对校本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，其特征在于，包括以下步骤：获取双目相机采集到道路的双目图像，对所述双目图像进行校正，得到校正后的图像，采用立体匹配算法对所述校正后的图像进行处理，得到视差图；采用表面法向量法对所述视差图进行特征增强，得到表面法向量图；构建可行驶区域分割模型并训练，得到经训练的可行驶区域分割模型，所述可行驶区域分割模型包括依次连接的编码器模块、多尺度不确定性感知模块和解码器模块，所述编码器模块用于对所述表面法向量图进行特征提取，得到第一特征向量，输入所述多尺度不确定性感知模块用于对所述第一特征向量中的各像素点对应的权重进行重新设置，得到第二特征向量，所述解码器模块用于对所述第二特征向量进行解码，得到可行驶区域的分割结果；将所述表面法向量图输入所述经训练的可行驶区域分割模型，得到可行驶区域的分割结果。2.根据权利要求1所述的基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，其特征在于，所述校正包括畸变校正和立体校正。3.根据权利要求1所述的基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，其特征在于，所述采用表面法向量法对所述视差图进行特征增强，得到表面法向量图，具体包括：采用水平图像梯度滤波器和垂直图像梯度滤波器对所述视差图中的每一个像素点进行卷积操作，得到对应的水平法向量和垂直法向量：行卷积操作，得到对应的水平法向量和垂直法向量：其中，D表示视差图，fx和fy分别表示在x方向和y方向上的相机焦距；对于视差图上的任意一点A，取与之相邻的若干个像素点，表示为一个集合：N
A
＝[G1,G2,......,G
m
]
T
，并计算得到若干个像素点到点A之间在X、Y、Z三个方向上的距离集合：G
m
‑
A＝[ΔX
m
,ΔY
m
,ΔZ
m
]
T
，其中，m∈[1,12]；选择与A点相邻的其中一个像素点作为参考，结合水平法向量S
X
和垂直法向量S
Y
，得到A点在Z方向上的一种法向量S
Z
的表达形式：将S
Z
转化为球面坐标的形式：其中，α为倾角，β为方位角；倾角α表示为：
其中，i表示视差图中的第i个像素点，i＝1，2，
……
，n，n为视差图中的像素点的总数，S
Zi
表示Z方向上对应的球面坐标；P
i
＝S
xi cosβ+S
yi sinβ；S
xi
表示X方向上对应的球面坐标；S
yi
表示Y方向上对应的球面坐标；方位角β表示为：对所述视差图中的每一个像素点重复以上步骤，得到对应的表面法向量图。4.根据权利要求1所述的基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，其特征在于，所述编码器模块为依次连接的全连接层、批归一化层、ReLu激活函数层、最大池化层及四个编码器层构成的金字塔结构，所述编码器层以ResNet
‑
50作为Backbone，各层与ResNet各层相对应。5.根据权利要求1所述的基于增强视差图及多尺度不确定性感知的可行驶区域检测方法，其特征在于，所述多尺度不确定性感知...

【专利技术属性】
技术研发人员：张陈涛，李弘熠，张紫嫣，周煜全，徐周毅，张建寰，
申请(专利权)人：厦门大学，
类型：发明
国别省市：