【技术实现步骤摘要】
本专利技术属于自动驾驶，特别是一种基于多传感器特征级融合的可通行区域检测方法。
技术介绍
1、随着智能交通、自动驾驶系统的快速发展，可通行区域检测成为车辆智能驾驶的关键技术之一。可通行区域检测的主要目标是识别场景中的可通行区域，辅助导航系统准确判断行进路线，以确保车辆在复杂场景下的顺利行驶。准确识别可通行区域已经成为目前不可或缺的需求。
2、如今相机图像数据结合深度学习技术被广泛应用于可通行区域检测任务中。卷积神经网络作为深度学习的重要架构之一，在图像特征提取方面表现出色，能够提取丰富的视觉信息，逐步提高了算法检测的准确性和鲁棒性。但基于单一相机图像数据的可通行区域检测算法在复杂道路场景下的细节特征提取和全局信息分析能力仍较差。
3、因此，有必要提供一种基于多传感器特征级融合的可通行区域检测方法来解决上述问题。
技术实现思路
1、本专利技术的目的在于提供一种基于多传感器特征级融合的可通行区域检测方法，解决上述基于单一相机图像数据的可通行区域检测方法中存在复杂道路场景下细节特征提取和全局信息分析能力差等问题。
2、实现本专利技术目的的技术解决方案为：一种基于多传感器特征级融合的可通行区域检测方法，所述方法包括以下步骤：
3、步骤1，利用激光雷达和车载相机分别采集多个行驶区域的雷达点云数据和rgb图像数据，构建原始数据集；
4、步骤2，基于步骤1中采集的雷达点云数据构建深度图；
5、步骤3，基于rgb图像和深度图构
6、步骤4，构建可通行区域检测模型，并利用所述训练数据集对模型进行训练；
7、步骤5，针对待检测的行驶区域，按照步骤1和步骤2执行，之后利用步骤4训练后的可通行区域检测模型对对待检测的行驶区域进行检测，识别其中的可通行区域。
8、进一步地，步骤2具体包括：
9、步骤2-1，读取车载相机校准参数文件，提取相机到图像的投影矩阵p2、相机的旋转矩阵r0rect和激光雷达到车载相机的变换矩阵tvelo_to_cam；
10、步骤2-2，加载激光雷达点云数据，提取三维坐标(x,y,z)，并移除点云中位于车载相机后方的点；
11、步骤2-3，计算点云到图像的投影矩阵：
12、p＝p2·r0rect·tvelo_to_cam；
13、步骤2-4，通过所述投影矩阵p将激光雷达点云投影到图像平面：
14、px＝p·(x,y,z)t；
15、式中，px是含有图像平面信息的矩阵；
16、步骤2-5，计算图像像素坐标，并移除投影后超出图像范围的点，即将点云投影到图像平面：
17、z＝px[:,3]；
18、式中，xpixel是图像像素横坐标，ypixel是图像像素纵坐标，z是图像像素点对应的深度值，px[:,1]、px[:,2]和px[:,3]分别表示矩阵px中的第1列、第2列和第3列数据；
19、步骤2-6，初始化一个与目标图像尺寸匹配的稀疏深度图，之后将点云中投影到像素坐标(xpixel,ypixel)的深度值z映射到所述稀疏深度图中，即：
20、di,j＝z
21、式中，di,j是稀疏深度图的像素值；所述目标图像为rgb图像；
22、步骤2-7，对所述稀疏深度图进行插值处理，填充未定义的深度值；
23、步骤2-8，进行稠密深度值计算，即生成稠密深度图，并将稠密深度图保存为灰度深度图i。
24、进一步地，步骤2-7中使用加权差值法进行差值处理，权重为：
25、
26、式中，s，y为权重系数，(x',y')是稀疏深度图当前的像素点坐标，(x'i,y'j)是邻域(i,j)内系数深度图像素点的坐标。
27、进一步地，步骤2-8中进行稠密深度值计算，即生成稠密深度图，计算公式为：
28、
29、式中，ddense(x,y)为稠密深度图在(x,y)处的坐标。
30、进一步地，步骤3具体包括：
31、步骤3-1，将步骤1采集的rgb图像数据按时间戳或编号命名并保存；
32、步骤3-2，将步骤2构建的深度图按时间戳或编号命名并保存；
33、步骤3-3，对步骤3-1的rgb图像进行分割标注，标记出可通行区域和障碍物，之后将标签图像按时间戳或编号命名并保存；
34、步骤3-4，检查图像数据的一致性，包括图像格式和分辨率，若存在不一致，则进行规范化处理，由此得到训练数据集；所述训练数据集包括输入数据和训练标签，所述输入数据包括rgb图像和深度图，训练标签为步骤3-3中对rgb图像进行分割标注过后的标签图像。
35、进一步地，步骤4中所述可通行区域检测模型包括依次设置的：
36、数据处理模块，用于对输入的深度图和rgb图像进行初步特征提取和标准化处理；
37、多尺度特征提取模块，用于从数据处理模块融合后的特征中提取多尺度特征，捕捉全局和局部信息；
38、上采样解码器模块，用于将低分辨率的特征逐步恢复到输入图像的分辨率；
39、预测输出模块，用于生成最终的语义预测图，完成可通行区域的检测任务。
40、进一步地，所述数据处理模块包括顺次连接的两个并行的卷积核为7×7大小的卷积层、两个并行的relu激活函数层以及一个矩阵对应元素相加的特征融合层。
41、进一步地，所述多尺度特征提取模块包括顺次连接的并行的四个卷积层，以及一个softmax注意力机制层和一个特征拼接层；所述四个卷积层，分别是一个卷积核大小为7×7的卷积层、一个卷积核大小为5×5的卷积层、一个卷积核大小为3×3的卷积层和一个卷积核大小为9×9的卷积层。
42、进一步地，所述上采样解码器模块包括顺次连接的一个双三次插值层、一个用于结合高分辨率特征的特征融合层，以及一个卷积核为3×3的卷积层。
43、进一步地，所述预测输出模块包括一个sigmoid激活函数层，用于将特征图的值归一化到[0,1]，以及一个语义预测层，用于生成每个像素属于目标区域的概率图。
44、本专利技术与现有技术相比，其显著优点为：
45、(1)通过使用不同大小的卷积核提取多尺度特征，使模型能够同时捕捉全局和局部信息，从而更适应复杂场景中的细节变化，提升可通行区域的检测精度。
46、(2)由于结合了多尺度机制和自注意力机制，模型能够有效捕捉图像中长距离的依赖关系，增强不同区域间的联系，使模型更全面地理解场景结构。
47、(3)通过自注意力特征融合模块，将多尺度特征有效地进行加权融合，突出重要区域信息，有助于提高模型在遮挡或光照变化等情况下的检测准确度。
48、(4)模型在特征融合过程中采用逐层上采样，使输出特征图逐步恢复到较高分辨率，提升了最终预测本文档来自技高网...
【技术保护点】
1.一种基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2具体包括：
3.根据权利要求2所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2-7中使用加权差值法进行差值处理，权重为：
4.根据权利要求3所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2-8中进行稠密深度值计算，即生成稠密深度图，计算公式为：
5.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤3具体包括：
6.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤4中所述可通行区域检测模型包括依次设置的：
7.根据权利要求6所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述数据处理模块包括顺次连接的两个并行的卷积核为7×7大小的卷积层、两个并行的ReLU激活函数层以及一个矩阵对应元素相加的特征融合层。
8.根据
9.根据权利要求6所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述上采样解码器模块包括顺次连接的一个双三次插值层、一个用于结合高分辨率特征的特征融合层，以及一个卷积核为3×3的卷积层。
10.根据权利要求6所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述预测输出模块包括一个Sigmoid激活函数层，用于将特征图的值归一化到[0,1]，以及一个语义预测层，用于生成每个像素属于目标区域的概率图。
...【技术特征摘要】
1.一种基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2具体包括：
3.根据权利要求2所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2-7中使用加权差值法进行差值处理，权重为：
4.根据权利要求3所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤2-8中进行稠密深度值计算，即生成稠密深度图，计算公式为：
5.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤3具体包括：
6.根据权利要求1所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，步骤4中所述可通行区域检测模型包括依次设置的：
7.根据权利要求6所述的基于多传感器特征级融合的可通行区域检测方法，其特征在于，所述数据处理模块包括顺次连接的两个并行的卷积核为7×...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。