【技术实现步骤摘要】
本专利技术属于自动驾驶领域，具体涉及一种融合时序信息的车路协同3d目标检测方法。
技术介绍
1、近年来，在人工智能进步的推动下，自动驾驶取得了重大进展。尽管如此，完全依赖单个车辆内置传感器的自动驾驶系统仍需面对复杂多变的现实考验，其中尤为突出的问题是在极端环境或复杂城市布局中，如建筑物遮挡、恶劣天气条件下的远程感知难题，这些问题直接关系到行车安全与乘客信任。
2、车辆与基础设施的协同，它依赖于车辆与其行驶环境中的元素的紧密沟通与数据共享，从而极大拓宽了车辆的“视野”，实现了超越个体感知范围的认知能力。特别是在这一情形下，智能交通系统的广泛部署与摄像头等传感器的普及，为3d物体检测技术的深化应用提供了有力支持。3d物体检测不仅能够精确识别并定位路面上的障碍物，还能进一步分析其动态行为，为自动驾驶系统做出即时且准确的决策提供了至关重要的信息支撑。然而，要充分发挥互联自动驾驶的优势，还需克服一系列技术与实施上的障碍。
3、此外，无线通信的不稳定性也是一个不容忽视的问题，网络中断或信号衰减都可能在关键时刻影响自动驾驶汽车的安全运行。
技术实现思路
1、本专利技术所为了解决
技术介绍
中存在的技术问题，目的在于提供了一种融合时序信息的车路协同3d目标检测方法，解决现有视觉协同检测系统中时序信息利用不充分问题及通信中断导致的感知性能下降的问题。
2、为了解决技术问题，本专利技术的技术方案是：
3、一种融合时序信息的车路协同3d目标检测方法，基于时间上
4、利用路端图像数据和车载图像数据提取特征信息，通过query生成器生成路端和车载query信号，对所述路端query信号与存储的历史query信号交互获得时序query信号；
5、通过置信度对时序query信号进行筛选后得到高置信度的时序query信号，利用v2x通信传输给车辆，若通信中断，基于运动感知重建模块，重建当前时刻各目标参考点位置和特征嵌入；
6、若通信正常，将所述输入车载query信号与高置信度的时序query信号在几何空间和特征空间对齐，得到对齐后的query信号；基于参考点之间的欧几里得距离构造代价矩阵，采用匈牙利算法获得最佳匹配，对于每一对query，特征嵌入沿着维度通道拼接，然后使用前馈神经网络mpl进行融合，未成功匹配的query直接插入到粗融合query集合中，利用存储的路端历史query序列指导粗融合query学习时序特征，得到协同query。
7、进一步，把所述得到协同query输入到检测头中，输出最终的检测结果。
8、进一步，若通信中断，利用卡尔曼滤波器跟踪历史轨迹的状态，根据轨迹的状态预测当前时刻各目标参考点位置；同时使用多头注意力机制，根据历史query信号的特征嵌入预测当前时刻各目标的特征嵌入。
9、进一步，通过预设的感知模型从输入的路端图像数据中提取特征后，通过query生成器输出query信号，同时保留生成自前面的k1时间步长的历史query信号；使用时间上下文整合机制，将query信号与历史query信号集成，产生包含历史信息的时序query信号；然后，通过置信度对上下文时序query信号进行过滤，并通过v2x通信传输置信度前m个query，车辆接收前m个query得到融合的路端query，同时存储k2帧接收到的路端query。
10、进一步，所述时间上下文整合机制，具体包括：
11、时序上下文聚合：
12、路端的query生成器对当前观察到的目标进行建模，生成query信号，并将query信号输入时间上下文聚合模块；该模块使用多头交叉注意机制，将过去k1帧的query信号与当前query信号进行融合，增强query的时间表达能力。
13、时序引导融合：
14、车辆接收到路端query信号后，进行时空融合，首先，对几何空间进行对齐，通过旋转和平移矩阵将参考点转换为统一坐标系；
15、对特征空间进行对齐，使用mlp将参考点和旋转矩阵转换为位置嵌入，然后与query嵌入拼接，得到最终的统一query嵌入；
16、通过匈牙利算法基于参考点的欧几里得距离构造代价矩阵，进行最佳匹配和融合，未匹配的query直接插入粗融合query集中；
17、利用路端历史query指导融合query学习时间特征，通过多头交叉注意机制来实现该过程。
18、进一步，所述运动感知重建模块逐帧从路端历史query序列中提取运动特征，通过以下步骤进行重建：
19、状态估计：使用卡尔曼滤波器估计历史轨迹的状态；
20、关联：基于query和估计状态之间的欧几里得距离构建代价矩阵，应用匈牙利算法进行匹配；
21、状态更新：卡尔曼滤波器根据匹配的参考点更新轨迹状态；
22、轨迹管理：创建新实例轨迹，删除消失的轨迹，得到最终轨迹结果；
23、通过提取和预测query轨迹，车辆能够在通信中断时重建并恢复丢失的路边query，继续进行时空协同检测。
24、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述中任一项所述的一种融合时序信息的车路协同3d目标检测方法。
25、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述的一种融合时序信息的车路协同3d目标检测方法。
26、与现有技术相比，本专利技术的优点在于：
27、多层次时序信息引入：在路端，引入时间上下文聚合模块，整合来自连续帧的历史信息，这增强了动态场景中物体检测的准确性和稳定性。时间上下文的整合使得检测系统能够理解物体的运动轨迹和变化，从而在复杂环境中提高检测的鲁棒性。在车端，引入时间引导融合模块，它不仅合并了当前时刻的车端query和路端query，还与车端存储的路端历史query序列进行交互，得到了一个跨视角的、包含丰富时间线索的query集合。这两个时序模块，能够提高模型对时序的利用能力，提高检测性能。
28、应对通信中断：针对实际应用中可能遇到的通信中断问题，该框架包含运动感知重建模块该模块能够在通信中断期间，利用之前存储的路端历史序列重建缺失的检测query信息，保证了在无实时的路端信息输入时系统仍能维持协同检测性能，增强了系统的稳定性和可靠性。
本文档来自技高网...【技术保护点】
1.一种融合时序信息的车路协同3D目标检测方法，其特征在于，基于时间上下文整合机制，所述方法包括：
2.根据权利要求1所述的一种融合时序信息的车路协同3D目标检测方法，其特征在于，把所述得到协同query输入到检测头中，输出最终的检测结果。
3.根据权利要求1所述的一种融合时序信息的车路协同3D目标检测方法，其特征在于，若通信中断，利用卡尔曼滤波器跟踪历史轨迹的状态，根据轨迹的状态预测当前时刻各目标参考点位置；同时使用多头注意力机制，根据历史query信号的特征嵌入预测当前时刻各目标的特征嵌入。
4.根据权利要求1所述的一种融合时序信息的车路协同3D目标检测方法，其特征在于，通过预设的感知模型从输入的路端图像数据中提取特征后，通过query生成器输出query信号，同时保留生成自前面的k1时间步长的历史query信号；使用时间上下文整合机制，将query信号与历史query信号集成，产生包含历史信息的时序query信号；然后，通过置信度对上下文时序query信号进行过滤，并通过V2X通信传输置信度前m个query，车辆接收前m个query得到融
5.根据权利要求1所述的一种融合时序信息的车路协同3D目标检测方法，其特征在于，所述时间上下文整合机制，具体包括：
6.根据权利要求1所述的一种融合时序信息的车路协同3D目标检测方法，其特征在于，所述运动感知重建模块逐帧从路端历史query序列中提取运动特征，通过以下步骤进行重建：
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至6中任一项所述的一种融合时序信息的车路协同3D目标检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至6中任一项所述的一种融合时序信息的车路协同3D目标检测方法。
...【技术特征摘要】
1.一种融合时序信息的车路协同3d目标检测方法，其特征在于，基于时间上下文整合机制，所述方法包括：
2.根据权利要求1所述的一种融合时序信息的车路协同3d目标检测方法，其特征在于，把所述得到协同query输入到检测头中，输出最终的检测结果。
3.根据权利要求1所述的一种融合时序信息的车路协同3d目标检测方法，其特征在于，若通信中断，利用卡尔曼滤波器跟踪历史轨迹的状态，根据轨迹的状态预测当前时刻各目标参考点位置；同时使用多头注意力机制，根据历史query信号的特征嵌入预测当前时刻各目标的特征嵌入。
4.根据权利要求1所述的一种融合时序信息的车路协同3d目标检测方法，其特征在于，通过预设的感知模型从输入的路端图像数据中提取特征后，通过query生成器输出query信号，同时保留生成自前面的k1时间步长的历史query信号；使用时间上下文整合机制，将query信号与历史query信号集成，产生包含历史信息的时序query信号；然后，通过置信...
【专利技术属性】
技术研发人员：钟佳儒，孙超，钟文欣，许佳慧，王博，郭斌，李浩宇，岳超，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。