目标检测方法、设备、计算机存储介质及车载装置制造方法及图纸

本发明专利技术提出一种目标检测方法、设备、计算机存储介质及车载装置，涉及目标检测的技术领域，目标检测模型中设有第一模态目标检测分支与第二模态目标检测分支，两个分支可分阶段提取不同尺度的单模态特征，最终生成的BEV模态特征尺度丰富；对于多模态数据共存的情况，通过融合检测分支将第一模态目标检测分支、第二模态目标检测分支关联，将两个分支分别在不同阶段尺度的单模态特征融合为多模态BEV特征并进行目标检测，增加了不同模态特征之间的信息交互。本发明专利技术中目标检测模型分支灵活，可适配不同的模态数据情况，当不同模态数据信息中的一种模态丢失时，不影响目标检测，安全性和可靠性高。靠性高。靠性高。

【技术实现步骤摘要】
目标检测方法、设备、计算机存储介质及车载装置


[0001]本专利技术涉及目标检测的
，更具体地，涉及一种目标检测方法、设备、计算机存储介质及车载装置。

技术介绍

[0002]自动驾驶技术能够应用于无人运输、辅助驾驶等场景，可有效地解放劳动力，是目前的一个研究热点。感知模块是自动驾驶技术中重要的一环，它能够帮助车辆的自动驾驶系统获取当前的环境信息，便于进一步进行预测和路径规划。
[0003]目标检测是感知中的一项重要任务，对场景中的信息进行目标检测，可以得到场景中的障碍物位置、大小以及朝向。根据所有车载传感器采集到的场景信息不同，可获得不同模态的数据信息，在目标检测时，不同模态的数据需要特征提取后进行融合，再进行目标检测，最后输出场景中目标物体的空间位置和物体类别。鸟瞰图(Bird's Eye View，BEV)是一种自顶向下的俯视视图表示方法，可以帮助如目标检测、车道线分割等下游任务建立于统一的特征表示之上。使用BEV特征作为下游任务统一的特征表示，是自动驾驶感知层面重要的新兴技术手段，在自动驾驶的空间感知中起着至关重要的作用。在特征提取后生成BEV特征，便于后续检测处理。
[0004]目前，一方面，基于模态数据生成BEV特征时，生成BEV特征的尺度单一，丢失了模态数据中丰富的多尺度信息，且对小目标物体检测不友好，目标检测结果准确度低；另一方面，在获得不同模态的数据信息后，一般直接采用深度学习模型完成不同模态的融合，形成融合特征后再送入单分支的网络进行一系列处理，最后进行目标检测，例如现有技术中公开了一种基于RGB
‑
D的三维目标检测方法(公开号：CN111723721A，公布日：2020.09.29)，首先对待检测目标的第一模态2D图像集进行特征提取，并反向映射到空间；将待检测目标的第二模态点云数据进行体素划分，结合2D图像的映射体素，通过卷积神经网络进行特征编码，然后进行2D图像纹理特征和点云数据几何特征的融合，最后依次进入单分支霍夫投票网络、关键目标回归与分类网络进行目标检测，输出三维目标检测结果，这种方式也能带来较好的性能增益，但因为后续进行目标检测的网络部分为单分支的网络，依赖不同模态数据的融合参与才能实现目标检测，在特殊情况下，当不同模态数据信息中的一种模态丢失时，此时该方式灵活性较差，则无法再进行任何目标检测，对自动驾驶而言，存在一定的安全风险。

技术实现思路

[0005]本专利技术的目的之一在于提供一种目标检测方法，生成多尺度的BEV特征，适配不同模态数据情况，解决了当前目标检测中BEV特征生成尺度单一、目标检测结果准确度低的问题，还解决了当前目标检测方式灵活性差、安全性差的问题，提升了BEV特征生成质量，更有利于小目标障碍物的检测；目的之二在于提供一种电子设备；目的之三在于提供一种计算机存储介质；目的之四在于提供一种车载目标检测装置，支持多模态的目标检测，增强了车
辆自动驾驶感知的灵活性、安全性和可靠性。
[0006]为了实现上述目的，本专利技术采用的技术方案如下：
[0007]一种目标检测方法，包括以下步骤：
[0008]获取待检测数据，所述待检测数据为第一模态数据和/或第二模态数据；
[0009]将待检测数据输入目标检测模型，利用所述目标检测模型对待检测数据进行目标检测；
[0010]其中，所述目标检测模型包括第一模态目标检测分支、第二模态检测分支及融合检测分支，第一模态目标检测分支用于对第一模态数据进行目标检测，第二模态检测分支用于对第二模态数据进行目标检测；所述第一模态检测分支、所述第二模态检测分支均设有依次相连的N个阶段的特征提取模块，第i阶段的特征提取模块提取本阶段尺度的单模态特征，并传输至第i+1阶段的特征提取模块，i＝1，2，...，N
‑
1，N为特征提取模块的总个数；所述融合检测分支用于将第一模态目标检测分支、第二模态检测分支提取的不同阶段尺度的单模态特征融合为多模态BEV特征，并进行融合目标检测。
[0011]根据上述技术手段，本方案中的目标检测模型可分阶段提取不同尺度的单模态特征，最终生成的BEV模态特征尺度丰富，模态特征在生成过程中，相邻阶段之间关联融合，逐步获取不同尺度的模态特征，最终获得的BEV模态特征质量更高，提高了目标检测结果的准确度；对于多模态数据共存的情况，通过融合检测分支将第一模态目标检测分支、第二模态目标检测分支关联，将两个分支分别在不同阶段尺度的单模态特征融合为多模态BEV特征并进行目标检测，增加了不同模态特征之间的信息交互。本方案中的目标检测模型对待检测数据中的不同模态类型的数据或多模态共存的数据均可进行检测，模型分支灵活，可适配不同的模态数据情况，当不同模态数据信息中的一种模态丢失时，不影响目标检测，安全性和可靠性高。
[0012]进一步，所述目标检测的结果为：识别待检测数据对应物体的类别和物体在空间中的位置；所述第一模态数据为二维RGB数据，所述第二模态数据为三维点云数据。
[0013]进一步，在获取所述待检测数据后，对待检测数据进行预处理；将预处理后的第一模态数据输入至第一模态目标检测分支，第一模态数据输入至依次相连的N个阶段的特征提取模块，第N阶段的特征提取模块提取到最终的第一单模态特征；将预处理后的第二模态数据输入至第二模态目标检测分支，第二模态数据输入至依次相连的N个阶段的特征提取模块，第N阶段的特征提取模块提取到最终的第二单模态特征；在所述N个阶段的特征提取模块中，自第一个阶段的特征提取模块起，至第N个阶段的特征提取模块，提取单模态特征的尺度依次增大。
[0014]通过以上技术手段，在不同阶段的模态特征提取过程中，可以获得信息丰富、尺度不同的模态特征，第i阶段的特征提取模块提取本阶段尺度的单模态特征，并传输至第i+1阶段的特征提取模块，进行第i+1阶段尺度的单模态特征的提取时，体现出相邻阶段之间不同尺度的模态特征也有进一步融合，模态特征所含有的信息更丰富。
[0015]进一步，第一模态检测分支中第i阶段的特征提取模块提取到的单模态特征为第i阶段尺度的二维RGB模态特征，第N阶段的特征提取模块提取到最终的第一单模态特征为二维RGB模态特征，所述第一模态目标检测分支还包括第一视角转换模块及RGB目标检测网络，所述第N阶段的特征提取模块纵向连接第一视角转换模块，第一视角转换模块连接RGB
目标检测网络，第一视角转换模块用于将第N阶段的特征提取模块提取到的最终的RGB模态特征转换至三维空间，并通过体素变化，生成RGB
‑
BEV特征，将RGB
‑
BEV特征输入至RGB目标检测网络，利用所述RGB目标检测网络进行目标检测。
[0016]根据上述技术手段，若待检测数据为单一模态的二维RGB数据，通过第一模态检测分支即可实现待检测数据的目标检测，因此，在待检测多模态数据中第二模态数据缺失时，不影响本方案中所提目标检测模型对第一模态数据的目标检测。
[0017]进一步，第二模态检测分支本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括以下步骤：获取待检测数据，所述待检测数据为第一模态数据和/或第二模态数据；将待检测数据输入目标检测模型，利用所述目标检测模型对待检测数据进行目标检测；其中，所述目标检测模型包括第一模态目标检测分支、第二模态检测分支及融合检测分支，第一模态目标检测分支用于对第一模态数据进行目标检测，第二模态检测分支用于对第二模态数据进行目标检测；所述第一模态检测分支、所述第二模态检测分支均设有依次相连的N个阶段的特征提取模块，第i阶段的特征提取模块提取本阶段尺度的单模态特征，并传输至第i+1阶段的特征提取模块，i＝1，2，...，N
‑
1，N为特征提取模块的总个数；所述融合检测分支用于将第一模态目标检测分支、第二模态检测分支提取的不同阶段尺度的单模态特征融合为多模态BEV特征，并进行融合目标检测。2.根据权利要求1所述的目标检测方法，其特征在于，所述目标检测的结果为：识别待检测数据对应物体的类别和物体在空间中的位置；所述第一模态数据为二维RGB数据，所述第二模态数据为三维点云数据。3.根据权利要求2所述的目标检测方法，其特征在于，在获取所述待检测数据后，对待检测数据进行预处理；将预处理后的第一模态数据输入至第一模态目标检测分支，第一模态数据输入至依次相连的N个阶段的特征提取模块，第N阶段的特征提取模块提取到最终的第一单模态特征；将预处理后的第二模态数据输入至第二模态目标检测分支，第二模态数据输入至依次相连的N个阶段的特征提取模块，第N阶段的特征提取模块提取到最终的第二单模态特征；在所述N个阶段的特征提取模块中，自第一个阶段的特征提取模块起，至第N个阶段的特征提取模块，提取单模态特征的尺度依次增大。4.根据权利要求3所述的目标检测方法，其特征在于，第一模态检测分支中第i阶段的特征提取模块提取到的单模态特征为第i阶段尺度的二维RGB模态特征，第N阶段的特征提取模块提取到最终的第一单模态特征为二维RGB模态特征，所述第一模态目标检测分支还包括第一视角转换模块及RGB目标检测网络，所述第N阶段的特征提取模块纵向连接第一视角转换模块，第一视角转换模块连接RGB目标检测网络，第一视角转换模块用于将第N阶段的特征提取模块提取到的最终的RGB模态特征转换至三维空间，并通过体素变化，生成RGB
‑
BEV特征，将RGB
‑
BEV特征输入至RGB目标检测网络，利用所述RGB目标检测网络进行目标检测。5.根据权利要求3所述的目标检测方法，其特征在于，第二模态检测分支中第i个特征提取模块提取到的单模态特征为第i阶段的三维Lidar模态特征，第N阶段的特征提取模块提取到最终的第二单模态特征为三维Lidar模态特征，将最终的三维Lidar模态特征变换成Lidar
‑
BEV特征，所述第二模态检测分支还包括点云目标检测网络，第N阶段的特征提取模块纵向连接点云目标检测网络，将Lidar
‑
BEV特征输入至点云目标检测网络，利用所述点云目标检测网络进行目标检测。6.根据权利要求4所述的目标检测方法，其特征在于，第一模态目标检测分支还包括N个第二视角转换模块，第一模态目标检测分支的第i阶段的特征提取模块横向连接第i个第二视角转换模块，第二视角转换模块用于将不同阶段尺度的二维RGB模态特征转换至三维空间，并分别通过体素变化，生成...

【专利技术属性】
技术研发人员：赵雪，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：