【技术实现步骤摘要】
本专利技术涉及智能交通系统、自动驾驶及多传感器融合领域，特别是涉及一种基于时空关联的多模态数据融合感知方法及系统。该方法通过融合多个传感器采集的时空数据，提升环境感知与目标识别的精度和鲁棒性，广泛应用于自动驾驶、智能交通监控等场景。
技术介绍
1、在智能交通系统和自动驾驶技术快速发展的背景下，多传感器融合感知技术在提升系统安全性与环境感知能力方面发挥着关键作用。通过融合来自多个传感器的时空数据，智能交通系统能够全面感知周围环境，为精准决策和安全操作提供了重要支持。多传感器融合不仅提升了系统在复杂环境中的感知精度，还增强了系统的鲁棒性与适应性，确保其在各种动态交通场景中能够保持稳定性和可靠性。
2、然而，现有技术在处理这些时空数据时面临诸多挑战：1)时空数据融合的复杂性：不同传感器采集的数据在时空分布、分辨率、采样频率以及数据格式等方面存在较大差异。这些异构数据的有效融合需要先进的算法来整合多源信息，以确保整体感知的准确性。然而，现有的多模态融合方法在应对数据异构性时存在局限，难以充分捕获和处理不同传感器数据之间的差异，导致感知精度不足。此外，传统融合方法依赖于手动调整参数，难以适应动态变化的环境。2)时空对齐问题：在复杂交通场景中，不同传感器采集的数据在时间和空间上常常不同步，尤其是在动态交通环境中，传感器的运动状态和部署位置差异会导致数据偏差。如何在时空维度上精确对齐这些数据并进行关联处理，成为现有技术面临的重大挑战。当前的时空对齐方法大多基于静态假设，难以应对复杂、动态的环境变化，进而影响融合感知的准确性和鲁棒性
3、基于上述问题，现有技术的不足主要体现在以下几个方面：1)数据融合的精度不足，尤其在处理异构时空数据时，难以在复杂环境中保持高鲁棒性；2)时空关联技术不够完善，难以应对动态环境下传感器数据的时间和空间差异；3)实时处理能力有限，难以在多传感器融合场景中提供足够快的感知与决策响应。
4、因此，开发一种能够有效解决时空数据融合、时空关联以及实时处理问题的感知方法，对于提高系统的感知精度、鲁棒性和实时响应能力具有重要的意义。这样的技术不仅能够提升系统在复杂动态环境中的表现，还将为智能交通系统和自动驾驶技术的发展提供强有力的支持。
技术实现思路
1、为解决现有技术在复杂场景下3d目标检测精度与分割方面的不足，本专利技术提供了一种基于时空关联的多模态数据融合感知方法及系统。该系统特别适用于复杂动态环境中的自动驾驶和智能交通监控场景，通过整合来自多摄像头和lidar传感器的多模态数据，实现对目标的精准检测与分割。
2、一种基于时空关联的多模态数据融合感知系统，包括多视角摄像头图像和lidar点云数据的输入模块、特征提取模块、特征融合(匹配)模块、查询初始化模块以及时空采样与混合模块。
3、采集的交通图像数据首先进入图像去噪模块，去除噪声后输入特征提取模块。lidar点云数据经过校准生成深度图，进入lidar分支的特征提取模块。提取后的图像特征和lidar特征在特征融合(匹配)模块中进行多模态特征的融合和匹配。通过查询初始化模块，系统在鸟瞰图(bev)空间中生成一组查询点(pillars)，附带空间位置信息，通过自适应注意力机制处理融合后的特征，以确保对不同尺度目标的精确检测。融合后的多模态特征通过时空采样与混合模块进行时序上的采样与对齐，最终为检测与分割提供高精度输入。
4、通过将不同传感器采集的数据进行深度融合，系统能够生成准确的目标特征表示，并通过时空采样与混合策略提升系统对动态目标的感知能力。
5、本专利技术通过以下详细步骤实现多模态数据融合感知：
6、步骤1)数据采集与预处理：11)多视角摄像头图像数据与lidar点云数据作为输入。多视角摄像头系统提供不同视角下的图像数据，图像经过图像去噪模块处理，去除噪声，生成干净的图像特征。lidar点云通过专门的分支提取场景中的空间深度信息，为后续处理提供三维几何信息。12)预处理后的多模态数据将作为特征提取模块的输入。在预处理过程中，进行滤波、降噪和初步对齐操作，以确保数据的高质量输入，提升后续特征提取的效果。
7、步骤2)特征提取：21)多视角摄像头图像特征首先经过resnet(残差网络)和fpn(特征金字塔网络)处理，生成去噪后的多尺度图像特征。这些特征保留了物体的关键视觉信息(如轮廓、纹理和颜色)，同时减少噪声干扰，提高特征的鲁棒性。22)lidar点云特征通过lidar backbone网络提取，生成包含空间几何信息的特征。这些特征能够捕捉场景中的三维结构信息，特别是在复杂场景中的深度信息。使用专门的深度学习模型对特征进行处理，确保能够提取关键的几何特征。
8、步骤3)特征融合与匹配：31)在特征融合与匹配阶段，首先初始化一组查询(queries)。这些查询在鸟瞰图(bev)空间中被定义为pillars(柱状体)，并附带空间位置信息(如平移、旋转和速度等)。通过自适应注意力机制，查询点能够动态调整注意力权重，确保在不同尺度和位置上精准检测目标。32)通过特征匹配模块，摄像头图像特征与lidar点云特征被融合为统一的多模态特征表示。这一融合过程通过特征对齐与匹配，结合二维图像的视觉信息与三维点云的几何信息，提升系统对目标的感知精度。
9、步骤4)时空采样与混合：41)时空采样与混合模块基于步骤3中输出的融合后的自动驾驶场景的特征，通过生成时空采样点对多帧数据进行处理。在每个时间步，系统利用目标的运动信息动态调整查询点的几何位置，从而生成采样点。这些采样点通过时序对齐算法，对齐不同帧中的目标状态，以确保特征信息的一致性。42)采样后的时空特征通过通道混合和点混合模块进行处理。通道混合模块采用多尺度特征融合算法，对采样点的特征进行跨时间步的多通道混合处理，确保时序一致性。点混合模块则通过几何变换和空间对齐技术，将不同位置的特征进行整合，确保在不同时序帧中的空间信息保持一致性。最终，经过前馈神经网络进一步提取处理后的时空融合特征，为后续的检测与分割任务提供输入。
10、步骤5)输出与结果：51)融合后的多模态特征通过检测与分割头进行进一步处理。检测模块基于多模态融合的特征生成3d边界框，用于目标的三维定位，确保自动驾驶系统能够实时感知并准确识别车辆、行人及其他障碍物的空间位置。分割模块则通过语义分割算法对场景中的不同目标进行分类与标记，为自动驾驶决策模块提供精确的环境感知数据。最终输出的技术特征为场景中各类目标的3d检测结果和语义分割信息，这些信息直接用于支持自动驾驶系统的路径规划本文档来自技高网...
【技术保护点】
1.一种基于时空关联的多模态数据融合感知系统，其特征在于，包括多视角摄像头图像和LiDAR点云数据的输入模块、特征提取模块、特征融合匹配模块、查询初始化模块以及时空采样与混合模块；
2.利用权利要求1所述系统的一种基于时空关联的多模态数据融合感知方法，其特征在于，本方法通过以下步骤实现多模态数据融合感知：
3.根据权利要求2所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，在自动驾驶场景中多帧数据特征的前向扩散过程：
4.根据权利要求3所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，在反向去噪过程中，利用去噪网络对被扰乱的特征逐步去除噪声，恢复出更接近原始特征的表示；去噪网络采用U-Net结构，并通过学习的方式逐步预测每一时间步中的噪声，从而指导去噪；反向去噪过程的总体表示如公式(3)；
5.根据权利要求4所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，LiDAR点云通过LiDAR分支提取场景中的空间深度信息；LiDAR点云首先投影到图像平面，生成稀疏的深度图；公式(5)和(6)描述了LiDAR点云
6.根据权利要求5所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，融合后的特征进入时空采样与混合模块，通过自适应几何扭曲函数，生成时空采样点，确保不同时序中的特征一致；公式(8)描述了几何扭曲过程：
...【技术特征摘要】
1.一种基于时空关联的多模态数据融合感知系统，其特征在于，包括多视角摄像头图像和lidar点云数据的输入模块、特征提取模块、特征融合匹配模块、查询初始化模块以及时空采样与混合模块；
2.利用权利要求1所述系统的一种基于时空关联的多模态数据融合感知方法，其特征在于，本方法通过以下步骤实现多模态数据融合感知：
3.根据权利要求2所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，在自动驾驶场景中多帧数据特征的前向扩散过程：
4.根据权利要求3所述的一种基于时空关联的多模态数据融合感知方法，其特征在于，在反向去噪过程中，利用去噪网络对被扰乱的特征逐步去除噪声，恢复出更接近原始...
【专利技术属性】
技术研发人员：包雪峰，田锐，谌云莉，甄艺强，余舜京，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。