基于深度学习的智能网联汽车多模态感知与决策系统技术方案

技术编号：44843933 阅读：0 留言：0更新日期：2025-04-01 19:40

本发明专利技术涉及智能驾驶技术领域，公开了一种基于深度学习的智能网联汽车多模态感知与决策系统，包括：多模态数据采集模块，用于通过车载摄像头和车载雷达传感器采集车辆周围的图像数据和雷达时间序列数据，以对车辆周围环境进行全方位感知；图像数据处理模块，用于利用改进的深度学习模型对所述图像数据进行处理，提取图像中的目标物体特征信息；雷达数据处理模块，用于对所述雷达时间序列数据的变化趋势进行分析，并结合所述目标物体特征信息，根据不同交通场景做出最优行车决策；最优决策执行模块，用于根据所述最优行车决策来执行最优决策动作。本发明专利技术能够实现在复杂交通场景下对环境信息的高精度感知与快速响应，提高行车安全并优化交通效率。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及智能驾驶，尤其涉及一种基于深度学习的智能网联汽车多模态感知与决策系统。

技术介绍

1、随着全球汽车产业的快速发展，智能网联汽车已成为未来交通的核心研究方向。传统的汽车感知与决策系统主要依赖单一类型的传感器，其获取的信息范围和精度均有限，难以满足复杂交通环境下对车辆周围环境全面感知的需求。此外，这类系统在面对恶劣天气、交通拥堵等复杂场景时，往往存在反应速度慢、决策精度低的问题，从而对行车安全和交通效率造成不利影响。

2、近年来，深度学习技术在图像处理、目标检测和路径规划等领域取得了显著进展。然而，目前的多模态感知系统仍存在以下挑战：一是多传感器数据融合的精度有待提高，尤其是在低信噪比或动态环境中；二是决策模型在实时性和资源效率方面表现不足，难以满足智能网联汽车对高效能实时处理的要求。

3、因此，亟需开发一种能够高效融合多模态传感器数据、具有高精度感知与快速响应能力的智能网联汽车感知与决策系统，对于提高行车安全、优化交通效率具有重要意义。

技术实现思路

1、为了克服现有技术的不足，本专利技术旨在提出一种基于深度学习的智能网联汽车多模态感知与决策系统，通过设计高效的数据融合算法和实时优化的决策模型，该系统能够在复杂交通场景下实现对环境信息的高精度感知与快速响应，以提高行车安全、优化交通效率。

2、本专利技术的目的可以通过以下技术方案实现：

3、第一方面，本专利技术提供一种基于深度学习的智能网联汽车多模态感知与决策系统，包括：</p>

4、多模态数据采集模块，用于通过车载摄像头和车载雷达传感器采集车辆周围的图像数据和雷达时间序列数据，以对车辆周围环境进行全方位感知；

5、图像数据处理模块，用于利用改进的深度学习模型对所述图像数据进行处理，提取图像中的目标物体特征信息；其中，所述改进的深度学习模型的构建包括：构建网络模型架构和损失函数；其中，所述网络模型架构由骨干网络、transformer编码器、类别计数模块、计数引导特征增强模块、动态查询选择模块和高效混合编码器组成；

6、雷达数据处理模块，用于对所述雷达时间序列数据的变化趋势进行分析，并结合所述目标物体特征信息，根据不同交通场景做出最优行车决策；

7、最优决策执行模块，用于根据所述最优行车决策来执行最优决策动作。

8、优选的，其中，所述利用改进的深度学习模型对所述图像数据进行处理，提取图像中的目标物体特征信息，包括：

9、所述骨干网络接收原始的图像数据作为输入进行多尺度特征提取，生成一系列不同层次的多尺度特征图；

10、将所述多尺度特征图送入所述transformer编码器进行自注意力操作，捕获特征中的长距离依赖关系，生成经过自注意力增强的视觉特征；

11、所述类别计数模块接收所述transformer编码器输出的高分辨率特征图作为输入，通过膨胀卷积生成密度图，并对图像实例数量进行分类；

12、所述计数引导特征增强模块利用所述类别计数模块生成的密度图，通过空间交叉注意力和通道注意力操作对所述transformer编码器的视觉特征进行空间和通道增强，得到计数引导增强特征图；

13、所述动态查询选择模块接收所述计数引导增强特征图，并根据所述类别计数模块的分类结果确定解码器查询数量，并优化查询的内容和位置；

14、所述高效混合解码器接收骨干网络输出的高层次的特征图和所述动态查询选择模块生成的查询作为输入，输出融合后的多尺度特征，用于后续的目标识别和边界框回归。

15、优选的，其中，所述类别计数模块由密度提取器和分类头组成；所述密度提取器用于对高分辨率特征图进行膨胀卷积生成密度图，所述分类头用于根据所述密度图将图像实例数量分为四个等级。

16、优选的，其中，所述计数引导特征增强模块利用所述类别计数模块生成的密度图，通过空间交叉注意力和通道注意力操作对所述transformer编码器的视觉特征进行空间和通道增强，得到计数引导增强特征图，包括：

17、对密度图采样生成多尺度计数特征图，经池化和卷积操作生成空间注意力图；

18、将所述空间注意力图与原始的所述视觉特征相乘，得到空间增强后的特征；

19、对所述空间增强后的特征进行通道注意力操作，得到计数引导增强特征图。

20、优选的，其中，所述动态查询选择模块接收所述计数引导增强特征图，并根据所述类别计数模块的分类结果确定解码器查询数量，并优化查询的内容和位置，包括：

21、根据所述类别计数模块的分类结果确定解码器查询数量k；利用所述计数引导增强特征图，基于分类分数选择前k个特征，通过线性变换和ffn预测分别生成查询内容和位置偏差，进而调整查询位置，使其适配图像目标密度，以利于小目标定位。

22、所述高效混合解码器是基于注意力的尺度内特征交互和基于卷积神经网络的跨尺度特征融合的混合编码器；

23、所述高效混合解码器基于注意力的尺度内特征交互对骨干网络输出的高层特征进行尺度内交互，用于仅对高层特征行自注意力操作，以捕获高层特征中的概念实体间的关系，同时减少对低层特征重复或无效交互的风险；

24、跨尺度特征融合通过融合块融合相邻尺度特征，将相邻尺度特征整合为更丰富的特征表示，输出融合后的多尺度特征，用于后续的目标识别和边界框回归。

25、优选的，其中，构建的损失函数是多种损失的加权组合，具体采用包含l1损失、边界框回归损失、类别损失和分类损失加权的损失函数来优化检测任务；损失函数为：

26、;

27、其中，、、、分别是对应l1损失、边界框回归损失、类别损失和分类损失的权重系数。

28、优选的，所述雷达数据处理模块，用于对所述雷达时间序列数据的变化趋势进行分析，并结合所述目标物体特征信息，根据不同交通场景做出最优行车决策，包括：

29、对所述雷达时间序列数据的变化趋势进行分析，得到车辆的当前状态；

30、将所述图像数据处理模块提取得到的目标物体特征信息和所述车辆的当前状态结合，构成增强状态；

31、在所述增强状态的基础上，根据不同交通场景的最优决策表示为决策优化问题；

32、构建奖励函数，以鼓励模型做出安全、高效的决策；

33、构建决策辅助机制，用于在紧急情况下触发预设的安全策略；

34、在所述奖励函数和所述决策辅助机制下，求解所述决策优化问题，得到最终的行车决策。

35、优选的，所述雷达数据处理模块构建的决策优化问题表示为在当前增强状态下选择最优控制动作，以最大化累计预期奖励；

36、所述决策优化问题表示为：

37、；

38、其中，：当前增强状态下执行动作所获得的累计预期奖励；：当前时间步t的最优决策，即车辆的控制指令；：可选的动作集合，包括加速，减速，转向；

39、通过策本文档来自技高网...

【技术保护点】

1.基于深度学习的智能网联汽车多模态感知与决策系统，其特征在于，包括：

2.根据权利要求1所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述利用改进的深度学习模型对所述图像数据进行处理，提取图像中的目标物体特征信息，包括：

3.根据权利要求1或2所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述类别计数模块由密度提取器和分类头组成；所述密度提取器用于对高分辨率特征图进行膨胀卷积生成密度图，所述分类头用于根据所述密度图将图像实例数量分为四个等级。

4.根据权利要求1或2所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述计数引导特征增强模块利用所述类别计数模块生成的密度图，通过空间交叉注意力和通道注意力操作对所述Transformer编码器的视觉特征进行空间和通道增强，得到计数引导增强特征图，包括：

5.根据权利要求3所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述动态查询选择模块接收所述计数引导增强特征图，并根据所述类别计数模块的

6.根据权利要求1或2所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述高效混合解码器是基于注意力的尺度内特征交互和基于卷积神经网络的跨尺度特征融合的混合编码器；

7.根据权利要求1所述的基于深度学习的智能网联汽车多模态感知与决策系统，其特征在于，其中，构建的损失函数是多种损失的加权组合，具体采用包含L1损失、边界框回归损失、类别损失和分类损失加权的损失函数来优化检测任务；损失函数为：

8.根据权利要求1所述的基于深度学习的智能网联汽车多模态感知与决策系统，其特征在于，所述雷达数据处理模块，用于对所述雷达时间序列数据的变化趋势进行分析，并结合所述目标物体特征信息，根据不同交通场景做出最优行车决策，包括：

9.根据权利要求8所述的基于深度学习的智能网联汽车多模态感知与决策系统，其特征在于，所述雷达数据处理模块构建的决策优化问题表示为在当前增强状态下选择最优控制动作，以最大化累计预期奖励；

10.根据权利要求9所述的基于多策略的分布式网络资源动态分配方法，其特征在于，其中，

...

【技术特征摘要】

1.基于深度学习的智能网联汽车多模态感知与决策系统，其特征在于，包括：

4.根据权利要求1或2所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述计数引导特征增强模块利用所述类别计数模块生成的密度图，通过空间交叉注意力和通道注意力操作对所述transformer编码器的视觉特征进行空间和通道增强，得到计数引导增强特征图，包括：

5.根据权利要求3所述的基于深度学习的智能网联汽车多模态感知与决策系统,其特征在于，其中，所述动态查询选择模块接收所述计数引导增强特征图，并根据所述类别计数模块的分类结果确定解码器...

【专利技术属性】
技术研发人员：陈道泉，徐金凤，韩佳波，陈宁，高詹堯，金磊磊，
申请(专利权)人：浙江机电职业技术大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人