本申请涉及自动驾驶感知技术领域，特别涉及一种自动驾驶感知模型功能模块的搭建方法及装置，其中，方法包括：利用计算基础平台工作进行数据标注和BEV数据格式适配，生成车路云一体化感知系统功能模块库，以对不同功能模块进行选择组合，得到适用于目标任务的需求功能模块，以构建感知算法框架对至少一个功能模块进行测评，得到至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果；基于用户的自身个性化数据、特征可视化定性分析结果与评价指标定量分析结果和实际任务的数据对感知算法框架下的感知模型进行微调，搭建最终的自动驾驶感知模型。本申请可以实现独立功能模块的评价和测试，指导功能模块预训练和微调。
【技术实现步骤摘要】
本申请涉及自动驾驶感知，特别涉及一种自动驾驶感知模型功能模块的搭建方法及装置。
技术介绍
1、计算平台及开发系统(computing brain development system，cbdes)由计算基础平台(computing base brain，cbb)与图形化软件开发器(graphical adas-ad softwaredeveloper，gaasd)两部分组成。其中cbb由计算平台硬件、实时内核、中间件和功能软件组成，功能软件是本产品核心，旨在提供各类智能驾驶系统的基本算法组件及框架。基于“分层解耦、跨域共用”的创新方案，以功能软件函数库为基础，cbdes让渡应用算法开发能力给主机厂商，支持主机厂工程师快速构建自己定义的智能驾驶系统，并进行功能适配和参数调校。相较于现有产品及开发模式，cbdes在提升开发效率、保障软件质量和采用生成式开发方面均有显著的优势。
2、相关技术中，感知是智能驾驶汽车的核心模块之一，为下游模块定位、预测、决策、规划、控制提供重要输入信息，底层算法的质量必须非常高，而车端量产的感知算法，绝大部分是以神经网络为基础的深度学习方法，即使用大规模标签数据训练深度神经网络，应用于各项视觉感知任务。
3、然而，相关技术中的感知算法开发方案仍然存在开发周期长、复用性差、平台及传感器配置步骤复杂繁多等问题，且主流解决方案缺乏功能软件，没有抽取共性算法模块，组件复用程度低，随着智能驾驶系统平台逐渐多样化，功能更新速度加快，容易导致工程师重复工作多，模型适配困难，亟待解决。
r/>技术实现思路
1、本申请提供一种自动驾驶感知模型功能模块的搭建方法及装置，以解决相关技术中的感知算法开发方案仍然存在开发周期长、复用性差、平台及传感器配置步骤复杂繁多等问题，且主流解决方案缺乏功能软件，没有抽取共性算法模块，组件复用程度低，随着智能驾驶系统平台逐渐多样化，功能更新速度加快，容易导致工程师重复工作多，模型适配困难等问题。
2、本申请第一方面实施例提供一种自动驾驶感知模型功能模块的搭建方法，包括以下步骤：利用计算基础平台工作进行数据标注和bev数据格式适配，生成车路云一体化感知系统功能模块库；基于所述车路云一体化感知系统功能模块库，对不同功能模块进行选择组合，得到适用于目标任务的需求功能模块，以构建感知算法框架；基于所述构建感知算法框架对至少一个功能模块进行测评，得到所述至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果；基于用户的自身个性化数据、所述特征可视化定性分析结果与所述评价指标定量分析结果和实际任务的数据对所述感知算法框架下的感知模型进行微调，搭建最终的自动驾驶感知模型。
3、可选地，在本申请的一个实施例中，所述基于所述构建感知算法框架对至少一个功能模块进行测评，得到所述至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果，包括：加载预训练的功能模块权重参数；提取图像样本的深度特征表示，并提取所述至少一个功能模块中目标功能模块的最后一层的权重参数及输出的深度特征；基于所述功能模块权重参数、所述深度特征表示、所述最后一层的权重参数及所述深度特征进行可视化定性分析，得到特征可视化定性分析结果；基于预设评价指标和所述特征可视化定性分析结果进行性能评测，得到所述评价指标定量分析结果。
4、可选地，在本申请的一个实施例中，所述预设评价指标包括语义感知特征评估指标，所述语义感知特征评估指标的计算公式为：
5、
6、其中，srfrm1dule定义为在全部训练数据上计算的srfr(semantic guidedrelevant feature ratio,语义感知特征评估指标)均值，n表示训练集图片的数量，表示对第i张图片计算得到的srfr结果。
7、可选地，在本申请的一个实施例中，所述基于所述功能模块权重参数、所述深度特征表示、所述最后一层的权重参数及所述深度特征进行可视化定性分析，得到特征可视化定性分析结果，包括：基于在已有的公开数据集上预训练好的功能模块，根据输入图像样本计算得到所述目标功能模块最后一层卷积层的输出张量与目标类别分数张量；对所述输出张量进行数值排序，得到满足预设排名条件的至少一个向量；基于所述至少一个向量计算计算梯度平均，得到对应的梯度权重，以获取每个通道特征图对应的向量；根据所述每个通道特征图对应的向量得到conv-cam计算结果，以对融合特征图进行上采样插值处理，得到与输入图像同尺寸的输出全局类激活图结果，确定所述特征可视化定性分析结果。
8、可选地，在本申请的一个实施例中，所述输出全局类激活图结果为：
9、
10、其中，表示类别cj对应的卷积层权重，ak表示卷积层输出的第k个特征图，relu为线性修正函数，j为类别下标，cj表示根据输入图像样本计算得到功能模块最后一层卷积层的目标类别分数张量进行数值排序的向量，convcam为类激活图计算结果。
11、本申请第二方面实施例提供一种自动驾驶感知模型功能模块的搭建装置，包括：生成模块，用于利用计算基础平台工作进行数据标注和bev数据格式适配，生成车路云一体化感知系统功能模块库；构建模块，用于基于所述车路云一体化感知系统功能模块库，对不同功能模块进行选择组合，得到适用于目标任务的需求功能模块，以构建感知算法框架；测评模块，用于基于所述构建感知算法框架对至少一个功能模块进行测评，得到所述至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果；搭建模块，用于基于用户的自身个性化数据、所述特征可视化定性分析结果与所述评价指标定量分析结果和实际任务的数据对所述感知算法框架下的感知模型进行微调，搭建最终的自动驾驶感知模型。
12、可选地，在本申请的一个实施例中，所述测评模块，包括：加载单元，用于加载预训练的功能模块权重参数；提取单元，用于提取图像样本的深度特征表示，并提取所述至少一个功能模块中目标功能模块的最后一层的权重参数及输出的深度特征；分析单元，用于基于所述功能模块权重参数、所述深度特征表示、所述最后一层的权重参数及所述深度特征进行可视化定性分析，得到特征可视化定性分析结果；评测单元，用于基于预设评价指标和所述特征可视化定性分析结果进行性能评测，得到所述评价指标定量分析结果。
13、可选地，在本申请的一个实施例中，所述预设评价指标包括语义感知特征评估指标，所述语义感知特征评估指标的计算公式为：
14、
15、其中，srfrmodule定义为在全部训练数据上计算的srfr(semantic guidedrelevant feature ratio,语义感知特征评估指标)均值，n表示训练集图片的数量，表示对第i张图片计算得到的srfr结果。
16、可选地，在本申请的一个实施例中，所述分析单元，包括：第一计算子单元，用于基于在已有的公开数据集上预训练好的功能模块，根据输入图像样本计算得到所述目标功能模块最后一层卷积层的输出本文档来自技高网...
【技术保护点】
1.一种自动驾驶感知模型功能模块的搭建方法，应用于计算基础平台，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述基于所述构建感知算法框架对至少一个功能模块进行测评，得到所述至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述预设评价指标包括语义感知特征评估指标，所述语义感知特征评估指标的计算公式为：
4.根据权利要求2所述的方法，其特征在于，所述基于所述功能模块权重参数、所述深度特征表示、所述最后一层的权重参数及所述深度特征进行可视化定性分析，得到特征可视化定性分析结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述输出全局类激活图结果为：
6.一种自动驾驶感知模型功能模块的搭建装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述测评模块，包括：
8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的自动驾驶感知模型功能模块的搭建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的自动驾驶感知模型功能模块的搭建方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被执行时，以用于实现如权利要求1-5任一项所述的自动驾驶感知模型功能模块的搭建方法。
...
【技术特征摘要】
1.一种自动驾驶感知模型功能模块的搭建方法，应用于计算基础平台，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述基于所述构建感知算法框架对至少一个功能模块进行测评，得到所述至少一个功能模块的特征可视化定性分析结果与评价指标定量分析结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述预设评价指标包括语义感知特征评估指标，所述语义感知特征评估指标的计算公式为：
4.根据权利要求2所述的方法，其特征在于，所述基于所述功能模块权重参数、所述深度特征表示、所述最后一层的权重参数及所述深度特征进行可视化定性分析，得到特征可视化定性分析结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述输出全局类激活图结果为：
【专利技术属性】
技术研发人员：李克强，何雷，李升波，许庆，王建强，戴育岐，曾伊琳，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。