【技术实现步骤摘要】
本专利技术涉及智能辅助驾驶领域，具体涉及一种基于4d雷达和图像识别融合的障碍物检测方法。
技术介绍
1、无人驾驶矿井机车是一款应用于矿产资源开发的自动化设备，它能够在没有人工驾驶员的情况下，自动、安全地在矿井内部进行运输作业。无人驾驶矿井机车在资源开采、矿石运输、人员转移等方面发挥着重要的作用，对于提高矿产资源开采效率，降低矿井事故发生的概率，以及减少因操作失误造成的人员伤亡具有重要意义。
2、基于摄像头的无人驾驶矿井机车技术主要依赖于计算机视觉，将摄像头捕获的二维图像转化为对环境的三维理解。摄像头在矿井内部捕获连续的视频帧，每一帧都包含了丰富的环境纹理信息。然后，这些图像数据会传输到车载计算系统中，进行图像处理和分析。在图像处理阶段，算法使用边缘检测、特征点提取等方法，标识出图像中的重要特征，如道路边缘、障碍物等。在这些特征的基础上，再使用机器学习算法进行训练和预测，以识别和跟踪环境中的动态和静态障碍物。
3、基于激光雷达的无人驾驶矿井机车技术主要依赖于激光雷达的距离测量和目标识别能力。激光雷达通过发射激光脉冲，并接收这些脉冲与物体相撞后反射回来的信号。通过计算发射和接收之间的时间差，可以精确计算出雷达与物体的距离。激光雷达不仅可以获取单点的距离信息，而且可以通过连续扫描周围环境，获取一个全景的深度地图。这个深度地图包含了大量的三维空间信息，可以让系统更好地理解环境。这些深度信息被送入车载计算系统，通过目标检测和分类算法，可以识别出障碍物、行人、车辆等不同的物体。
4、由于摄像头的性能在很大
技术实现思路
1、为解决上述问题，本专利技术提供一种基于4d雷达和图像识别融合的障碍物检测方法。
2、该方法包括：
3、步骤一，标定相机的内部参数及4d雷达的外部参数；
4、步骤二，采集毫米波雷达点云数据，并滤除噪声点，保留障碍物点云，使用second网络构建雷达主干和颈部，雷达主干从体素化柱中提取多尺度bev特征，捕获雷达模态固有的空间和上下文信息，雷达颈部将这些多尺度特征聚合成一个尺度，生成雷达bev特征图；
5、步骤三，通过摄像头采集图像数据，并输入到构建出的障碍物检测模型的主干提取图像的多尺度pv特征，得到图像pv特征图；提取的图像的多尺度pv特征通过1×1卷积，将通道转换为深度网络区间，得到多尺度图像深度分布图；
6、步骤四，利用雷达bev特征图预测雷达3d占用网格；
7、步骤五，基于雷达3d占用网格将图像pv特征提升到3d空间，获得图像的bev特；
8、步骤六，将雷达的bev特征和图像的bev特征进行拼接，并通过卷积运算进行融合后，使用一个检测头来预测3d边界框，基于预测的边界框确定机车的位置和方向。
9、进一步的，步骤一中所述相机的内部参数包括相机主光点坐标和焦距。
10、进一步的，步骤一中所述4d雷达的外部参数包括相对于相机和无人驾驶平台的旋转矩阵和平移矩阵。
11、进一步的，步骤三中所述障碍物检测模型基于深度卷积网络构建，使用cspdarknet53深度卷积神经网络作为主干来提取图像特征，采用fpn和pan结构作为颈部。
12、进一步的，步骤三中，图像深度的离散化区间数设置为512。
13、进一步的，步骤四具体包括：
14、3d占用网格为：
15、
16、其中，表示输入通道为cp，输出通道为的1×1卷积，sigmoid表示激活函数，z为预定义的3d占用网格的高度，x和y表示雷达bev特征图的维度。
17、进一步的，步骤五具体包括：
18、将预定义的3d体素的坐标投影到图像平面，并通过对图像pv特征图进行双线性采样来得到图像的3d体素特征；
19、对多尺度图像深度分布图进行三线性采样，得到雷达坐标系中的体素采样深度概率；
20、将图像的3d体素特征和体素采样深度概率按元素相乘，得到深度辅助图像3d特征；
21、将深度辅助图像3d特征与3d占用网格相乘，得到雷达辅助图像3d特征；
22、将深度辅助图像3d特征和雷达辅助图像3d特征沿通道维度拼接后在尺度维度求和，并通过1×1卷积调整通道数，得到图像的bev特征。
23、进一步的，步骤六中融合策略使用基于注意力的融合技术。
24、进一步的，所述4d雷达为4d毫米波雷达。
25、本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
26、本申请采用了先进的图像处理技术，包括高动态范围(hdr)处理和噪声抑制技术，有效地改善了在复杂光照环境下的图像质量，从而提高了环境感知的准确性。对于激光雷达的粉尘问题，本申请通过利用先进的信号处理和机器学习技术，能够从接收到的混杂信号中区分出由粉尘粒子反射和来自实际障碍物的反射，从而提高了在粉尘环境下雷达的识别准确率和测距精度。
本文档来自技高网...【技术保护点】
1.一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤一中所述相机的内部参数包括相机主光点坐标和焦距。
3.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤一中所述4D雷达的外部参数包括相对于相机和无人驾驶平台的旋转矩阵和平移矩阵。
4.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤三中所述障碍物检测模型基于深度卷积网络构建，使用CSPDarknet53深度卷积神经网络作为主干来提取图像特征，采用FPN和PAN结构作为颈部。
5.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤三中，图像深度的离散化区间数设置为512。
6.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤四具体包括：
7.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤五具体
8.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，步骤六中融合策略使用基于注意力的融合技术。
9.如权利要求1所述一种基于4D雷达和图像识别融合的障碍物检测方法，其特征在于，所述4D雷达为4D毫米波雷达。
...【技术特征摘要】
1.一种基于4d雷达和图像识别融合的障碍物检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述一种基于4d雷达和图像识别融合的障碍物检测方法，其特征在于，步骤一中所述相机的内部参数包括相机主光点坐标和焦距。
3.如权利要求1所述一种基于4d雷达和图像识别融合的障碍物检测方法，其特征在于，步骤一中所述4d雷达的外部参数包括相对于相机和无人驾驶平台的旋转矩阵和平移矩阵。
4.如权利要求1所述一种基于4d雷达和图像识别融合的障碍物检测方法，其特征在于，步骤三中所述障碍物检测模型基于深度卷积网络构建，使用cspdarknet53深度卷积神经网络作为主干来提取图像特征，采用fpn和pan结构...
【专利技术属性】
技术研发人员：魏臻，谢宝，陆阳，徐自军，徐伟，邢星，孟凡卫，孟圆圆，
申请(专利权)人：合肥工大高科信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。