基于多传感器数据融合的自动驾驶决策方法及SoC芯片技术

本发明专利技术公开了基于多传感器数据融合的自动驾驶决策方法及SoC芯片，属于机器学习和自动驾驶技术领域，该方法包括，图像传感器采集道路的图像数据，将图像数据输入训练好的图像目标检测神经网络模型，进行车道图像目标检测，输出车道图像的目标检测数据；激光雷达采集3D点云数据，将点云数据输入训练好的点云目标检测神经网络模型，进行障碍物目标检测，与双目摄像头输出的障碍物信息进行融合，生成障碍物位置与距离数据；将车道图像数据障碍物位置距离数据进行数据融合，校正车辆行驶的路况信息，作为自动驾驶决策的依据。本发明专利技术的方案可充分满足自动驾驶场景下实时性的要求，同时对不同传感器数据融合，使得对路况分析的准确性大大提高。性大大提高。性大大提高。

【技术实现步骤摘要】
基于多传感器数据融合的自动驾驶决策方法及SoC芯片


[0001]本专利技术属于机器学习和自动驾驶
，特别涉及基于多传感器数据融合的自动驾驶决策方法及SoC芯片。

技术介绍

[0002]自动驾驶技术越来越受到整车企业的关注，一些整车企业投入越来越多的人力物力开发自动驾驶车辆，甚至将自动驾驶车辆作为未来5
‑
10年的目标量产点。自动驾驶的实现分为认知、判断和控制三个阶段，当前的自动驾驶技术，对于道路识别、行人识别等认知阶段和路径生成方面，以及情况判断等判断阶段还存在诸多问题。
[0003]随着这几年人工智能的快速发展，人工智能在自动驾驶领域的应用也越来越普遍，公开号为“CN114708566A”的中国专利技术专利公开了一种基于改进YOLOv4的自动驾驶目标检测方法，其具体步骤包括：获取目标检测常用数据集，并对获得到的数据集通过Mosaic进行预处理；利用NMS、Soft
‑
NMS以及CIOU损失函数，构建新的非极大值抑制算法Soft
‑
CIOU
‑
NMS；改进YOLOv4的特征提取网络，将原YOVOv4的三尺度预测增加到四尺度预测；改进YOLOv4的普通卷积，用深度可分离卷积代替普通卷积，加快检测速度；改进YOLOv4网络结构，加入CBAM注意力机制，增强特征提取能力。但是，单纯依靠图像作为判断依据，会因为动态图像的偏差，导致图像在检测及分类步骤上出现偏差，由于设定的阈值或者图像裁剪、特征提取的误差导致对车辆的操作出现判断失误，从而发出错误的指令。
[0004]随着激光雷达、深度相机等3D设备的不断完善普及，使得在现实三维场景下的自动驾驶成为可能，也提高了自动驾驶系统对复杂场景中目标的识别及检测的要求，以达到安全性和便利性的需求。自动驾驶设备中，通常由图像传感器、激光传感器以及雷达进行数据采集并结合传感器数综合分析，根据分析结果实现相关操作。2D目标检测不能满足无人驾驶车辆感知环境的需要，而3D目标检测可以识别物体类别及在三维空间中的长宽高、旋转角等信息，将3D目标检测应用到无人驾驶车辆上，检测出场景中的目标，并通过估计实际位置，自动驾驶的车辆可以准确的预判和规划自己的行为和路径，避免碰撞和违规，能大大降低交通事故的发生以及实现城市交通的智能化。
[0005]为解决单一图像传感器存在的动态图像偏差导致对车辆操作出现错误决策的问题，公开号为“CN114782729A”的中国专利技术专利提出了一种基于激光雷达与视觉融合的实时目标检测方法，该方法包括：获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据，并将点云数据转换到本地直角坐标系下以及对3D点云进行预处理；对预处理后的3D点云数据进行密度聚类，提取目标的3D感兴趣区域及相应点云特征；S3：筛选出目标的3D感兴趣区域的稀疏聚类，映射到图像的对应区域，提取图像特征并与点云特征进行融合；将所有感兴趣区域的点云特征和图像特征输入SSD检测器，进行目标的定位与识别。其对点云特征的提取算法包括PointNet++、PointNet、VoxelNet或SECOND算法。但是，该技术方案中存在点云特征的提取算法普遍存在检测速度低的问题，比如PointNet的目标检测速度只有5.7Hz，PointNet++模型是基于稠密点云数据集提出的，在激光雷达稀疏点云数据集上的表
现更难以满足要求，VoxelNet算法运用3D卷积导致运算量过大，处理速度只有4.4Hz，SECOND算法虽然在VoxelNet算法上有所改良，将处理速度提升至20Hz，仍然难以满足自动驾驶场景下的实时性要求。

技术实现思路

[0006]本专利技术提供基于多传感器数据融合的自动驾驶决策方法及SoC芯片，旨在解决现有技术在自动驾驶中对路况信息处理存在的效率低下以及依靠单一图像传感器存在的误判问题。
[0007]为解决上述技术问题，本专利技术基于多传感器数据融合进行自动驾驶决策，训练不同的神经网络模型分别用于图像传感器数据和激光雷达传感器数据检测，具体方案如下：基于多传感器数据融合的自动驾驶决策方法，包括以下步骤：S1：RGB图像传感器采集车辆行驶道路的图像数据，所述图像数据包括车道线数据、车辆数据、行人数据以及交通标志数据；S2：将所述车道线数据、车辆数据、行人数据以及交通标志数据输入训练好的图像目标检测神经网络模型，进行车道图像特征提取与特征融合，输出车道图像的目标检测数据，所述图像目标检测神经网络模型采用YOLOv7目标检测算法；S3：激光雷达采集3D点云数据，将所述点云数据输入训练好的点云目标检测神经网络模型，进行距离特征提取与特征融合，输出目标位置与距离数据，与双目摄像头输出的目标位置与距离信息进行融合，生成最终的障碍物位置与距离数据，所述神经网络模型采用PointPillar目标检测算法；S4：将所述步骤S2生成的车道图像数据与步骤S3生成的障碍物位置距离数据进行数据融合，分析各传感器是否存在误差，校正车辆行驶的路况信息；S5：根据步骤S4校正的路况信息，作出相应的决策应用于自动驾驶中。
[0008]优选地，所述步骤S2中图像目标检测神经模型的训练过程具体包括以下步骤：S2
‑
1：建立车道、行人及交通标志数据集，所述数据集用于神经网络模型的训练；S2
‑
2：将所述车道、行人及交通标志数据集进行预处理，生成设定分辨率的RGB格式图像；S2
‑
3：将所述格式图像依序通过YOLOv7网络的图像特征提取层、图像特征融合层以及图像目标检测层，得到神经网络模型；S2
‑
4：检查训练次数是否达到设定目标，若未达到设定目标，则重复所述步骤S2
‑
3，直至达到设定的训练次数，保存该神经网络模型，作为图像目标检测神经网络模型。
[0009]优选地，所述步骤S3中点云目标检测神经模型的训练过程具体包括以下步骤：S3
‑
1：建立激光雷达数据集，所述数据集用于点云目标检测神经模型的训练；S3
‑
2：将所述激光雷达数据集进行预处理，生成格式点云数据；S3
‑
3：将所述格式点云数据依序经过PointPillar网络的特征转换层、特征提取层以及目标检测层，得到神经网络模型；S3
‑
4：检查训练次数是否达到设定目标，若未达到设定目标，则重复所述步骤S3
‑
3，直至达到设定的训练次数，保存该神经网络模型，作为点云目标检测神经网络模型。
[0010]优选地，所述步骤S4的数据融合，采用决策层融合方式，将经过处理的图像数据和
雷达数据进行匹配，将雷达数据生成的障碍物位置与距离检测结果，映射到图像数据的坐标，形成综合特征图。
[0011]优选地，所述YOLOv7网络模型包括图像输入层、图像特征提取层、图像特征融合层以及图像目标检测层；所述图像输入层对输入的图像进行对齐；所述图像特征提取层进一步包括若干卷积层、批量归一化层以及最大池化层，用于丰富对齐图像的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多传感器数据融合的自动驾驶决策方法，其特征在于，包括以下步骤：S1：RGB图像传感器采集车辆行驶道路的图像数据，所述图像数据包括车道线数据、车辆数据、行人数据以及交通标志数据；S2：将所述车道线数据、车辆数据、行人数据以及交通标志数据输入训练好的图像目标检测神经网络模型，进行车道图像特征提取与特征融合，输出车道图像的目标检测数据，所述图像目标检测神经网络模型采用YOLOv7目标检测算法；S3：激光雷达采集3D点云数据，将所述点云数据输入训练好的点云目标检测神经网络模型，进行距离特征提取与特征融合，输出目标位置与距离数据，与双目摄像头输出的目标位置与距离信息进行融合，生成最终的障碍物位置与距离数据，所述神经网络模型采用PointPillar目标检测算法；S4：将所述步骤S2生成的车道图像数据与步骤S3生成的障碍物位置距离数据进行数据融合，分析各传感器是否存在误差，校正车辆行驶的路况信息；S5：根据步骤S4校正的路况信息，作出相应的决策应用于自动驾驶中。2.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法，其特征在于，所述步骤S2中图像目标检测神经模型的训练过程具体包括以下步骤：S2
‑
1：建立车道、行人及交通标志数据集，所述数据集用于神经网络模型的训练；S2
‑
2：将所述车道、行人及交通标志数据集进行预处理，生成设定分辨率的RGB格式图像；S2
‑
3：将所述格式图像依序通过YOLOv7网络的图像特征提取层、图像特征融合层以及图像目标检测层，得到神经网络模型；S2
‑
4：检查训练次数是否达到设定目标，若未达到设定目标，则重复所述步骤S2
‑
3，直至达到设定的训练次数，保存该神经网络模型，作为图像目标检测神经网络模型。3.根据权利要求1所述的基于多传感器数据融合的自动驾驶决策方法，其特征在于，所述步骤S3中点云目标检测神经模型的训练过程具体包括以下步骤：S3
‑
1：建立激光雷达数据集，所述数据集用于点云目标检测神经模型的训练；S3
‑
2：将所述激光雷达数据集进行预处理，生成格式点云数据；S3
‑
3：将所述格式点云数据依序经过PointPillar网络的特征转换层、特征提取层以及目标检测层，得到神经网络模型；S3
‑
4：检查训练次数是否达到设定目标，若未达到设定目标，则重复所述步骤S3
‑
...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，张栩，
申请(专利权)人：中诚华隆计算机技术有限公司，
类型：发明
国别省市：