【技术实现步骤摘要】
本专利技术涉及智能驾驶，具体涉及一种非铺装路面识别与分类系统。
技术介绍
1、目前自动驾驶汽车的开发引起了广泛关注，但大多数研究和开发工作都集中在城市道路和高速公路驾驶环境上。随着无人驾驶技术的发展，越野汽车在军事侦察、地质勘探、野外救援等领域的应用越来越广泛。这些场景往往伴随着复杂多变的路面条件，如泥泞、沙地、岩石、雪地等。这些非铺装路面类型多样，每种类型的路面都会对车辆的行驶性能产生不同的影响，例如，沙地容易导致车辆陷入，草地可能湿滑，泥地在雨后会变得极为难行。因此，准确识别与分类非铺装路面对于无人车辆来说至关重要，它不仅关系到车辆的安全行驶，还影响到车辆的动力学控制策略。非铺装路面识别还能为车辆的导航和路径规划提供关键信息，提高汽车在复杂环境下行驶的效率和成功率。
2、在非铺装道路条件下路况复杂，变化多样，许多路段往往没有明显的道边界限，因此检测的难度相对较大，此外车辆在越野环境下驾驶条件也往往较为恶劣，车辆传感器易受到各种环境因素的干扰从而影响感知效果，车辆仅通过单一传感器的方案对路面信息进行感知会使得识别结果鲁棒性与精度都难以保证。
技术实现思路
1、本专利技术的目的是为了解决上述问题，提供一种非铺装路面识别与分类系统。
2、为了达到上述目的，本专利技术的技术方案如下：
3、本专利技术提供了一种非铺装路面识别与分类系统，包括以下模块：
4、前端数据采集模块：包括相机、激光雷达与惯性测量单元；
5、传感器数据处理模
6、路面识别模块：基于车辆动力学和基于视觉的路面识别方法相融合，采取卷积神经网络框架，对于来自传感器的多模态输入数据，分别经由不同特征提取通道进行特征提取，并针对不同特征融合任务通过不同特征融合模块实现多模态特征融合，融合特征再进一步经卷积层处理后输入全连接层，最终得到分类结果
7、训练与评估模块：
8、首先，在数据预处理阶段，我们从前端数据采集模块获取图像和点云数据，并结合车辆动力学参数。这些数据需要被划分为训练集、验证集和测试集，以便于训练过程中对模型进行调优以及最终评估模型性能。同时，根据非铺装路面的不同类型，为每个样本分配相应的标签。在模型训练阶段，构建一个多模态融合的卷积神经网络模型，可以采用vgg架构作为基础，并添加特定的多模态特征融合模块，用于处理图像和点云数据。选择交叉熵损失函数和adam优化器，设定合适的学习率和动量等超参数以确保模型可以有效地收敛。使用训练集数据进行模型训练，迭代更新模型参数，并在每个epoch结束时使用验证集评估模型性能，记录表现最好的模型版本，以防过拟合。如果模型性能提升不明显，则可以采用早停法来提前终止训练。
9、在模型评估阶段，使用未参与训练的测试集数据评估模型的整体性能，计算准确率、召回率、f1分数等关键性能指标，以全面了解模型的表现。生成混淆矩阵以直观展示各类别的预测情况，帮助理解模型在哪些类别上表现较好或较差，并据此分析模型在不同类型的非铺装路面上的表现差异，找出误分类的原因，并据此调整模型或数据预处理策略。
10、通过训练和评估模块，可以确保所设计的非铺装路面识别与分类系统具有较高的准确性和实用性，从而完成整个训练与评估模块的设计和实施。
11、本专利技术进一步设置为：所述相机用于捕捉路面图像；所述激光雷达通过高精度的距离测量信息，用于构建路面三维模型；所述惯性测量单元用来测量加速度和角速度，帮助识别车辆的运动姿态。
12、本专利技术进一步设置为：所述车辆动力学的路面识别方法以无迹卡尔曼滤波为基础，以车辆动力学模型和魔术公式轮胎模型为基础，充分利用车辆动力学响应信息建立无迹卡尔曼滤波估计器。
13、本专利技术进一步设置为：所述车辆动力学模型选用三自由度车辆动力学模型，用于表征车辆的纵向、侧向和横摆运动。
14、本专利技术进一步设置为：所述魔术公式轮胎模型采用一套统一的数学表达式来描述轮胎的力学特性，包括纵向力、侧向力以及回转力矩。
15、本专利技术进一步设置为：所述基于视觉的路面识别包括以下分步骤：
16、步骤s1、将激光雷达点云与相机图像的二维像素点进行对应；分别进行相机内参标定以及相机-激光雷达外参联合标定；收集包含不同非铺装路面类型的图像和对应的激光雷达数据，对图像进行标注；
17、步骤s2、使用深度学习语义分割算法，融合激光雷达点云数据与相机图像数据学习非铺装路面的区域特征；使用vgg16深度学习模型对相机图像进行特征提取；使用点云聚类算法，以识别路面上的障碍物或其他特征；
18、步骤s3、在数据特征提取完之后，采用superfusion网络对激光雷达和相机进行数据级融合；利用superfusion直接将激光雷达的点云数据投影到相机图像平面上，形成稀疏的深度图；利用图像深度估计的方法，结合激光雷达提供的精确深度信息，提高深度图的精度和鲁棒性。
19、与现有技术相比，本方案的有益效果：基于多源传感器融合的非铺装路面分类和识别方法能够带来显著的技术效果，这些效果不仅体现在技术层面的改进，还涉及到实际应用场景中的性能提升。通过将相机图像、激光雷达点云数据以及imu等多种传感器的数据进行融合，可以利用每种传感器的优点来互补不足，从而提高对不同路面类型的识别精度。
20、通过将相机图像、激光雷达点云数据以及imu等多种传感器的数据进行融合，可以利用每种传感器的优点来互补不足，从而提高对不同路面类型的识别精度。即使某个传感器出现故障或受环境影响导致数据质量下降，其他传感器的数据仍然可以提供有效的信息支持，增强了系统的整体鲁棒性。多源传感器融合可以更好地应对各种天气条件和光照变化，从而保证在不同的环境下都能保持较高的识别性能。基于多源传感器融合的非铺装路面分类和识别方法不仅可以应用于自动驾驶车辆，还可以扩展到农业机械、军事装备、野外勘探等领域，具有广泛的适用性。本系统也可以实时接收反馈信息，不断学习和适应新的路面类型，逐步提高识别精度和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种非铺装路面识别与分类系统，其特征是，包括以下模块：
2.如权利要求1所述的一种非铺装路面识别与分类系统，其特征是：所述相机用于捕捉路面图像；所述激光雷达通过高精度的距离测量信息，用于构建路面三维模型；所述惯性测量单元用来测量加速度和角速度，帮助识别车辆的运动姿态。
3.如权利要求1所述的一种非铺装路面识别与分类系统，其特征是：所述车辆动力学的路面识别方法以无迹卡尔曼滤波为基础，以车辆动力学模型和魔术公式轮胎模型为基础，充分利用车辆动力学响应信息建立无迹卡尔曼滤波估计器。
4.如权利要求3所述的一种非铺装路面识别与分类系统，其特征是：所述车辆动力学模型选用三自由度车辆动力学模型，用于表征车辆的纵向、侧向和横摆运动。
5.如权利要求3所述的一种非铺装路面识别与分类系统，其特征是：所述魔术公式轮胎模型采用一套统一的数学表达式来描述轮胎的力学特性，包括纵向力、侧向力以及回转力矩。
6.如权利要求1所述的一种非铺装路面识别与分类系统，其特征是，所述基于视觉的路面识别包括以下分步骤：
【技术特征摘要】
1.一种非铺装路面识别与分类系统，其特征是，包括以下模块：
2.如权利要求1所述的一种非铺装路面识别与分类系统，其特征是：所述相机用于捕捉路面图像；所述激光雷达通过高精度的距离测量信息，用于构建路面三维模型；所述惯性测量单元用来测量加速度和角速度，帮助识别车辆的运动姿态。
3.如权利要求1所述的一种非铺装路面识别与分类系统，其特征是：所述车辆动力学的路面识别方法以无迹卡尔曼滤波为基础，以车辆动力学模型和魔术公式轮胎模型为基础，充分利用车辆动力学响应...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。