一种车辆状态检测方法、装置、设备和存储介质制造方法及图纸

本申请公开了一种车辆状态检测方法、装置、设备和存储介质，方法包括：获取图像数据和声音数据；通过第一预置模型检测图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；通过第二预置模型检测声音数据的类型，得到第二检测结果；根据第一检测结果和第二检测结果，确定车辆状态。本申请解决了现有技术只识别车辆类型，不能识别车辆状态，导致自动驾驶车辆做出不合理的避让行为的技术问题。

【技术实现步骤摘要】
一种车辆状态检测方法、装置、设备和存储介质
本申请涉及车辆检测
，尤其涉及一种车辆状态检测方法、装置、设备和存储介质。
技术介绍
随着自动控制和人工智能技术的发展，自动驾驶车辆得到了广泛的关注。其中，自动驾驶车辆的避让能力非常重要。自动驾驶车辆需要识别出行驶道路上的车辆，根据车辆状态，规划路径或做出恰当的避让行为。特别是，在行驶道路上存在执行紧急任务的紧急车辆(警车、消防车、救护车)时，自动驾驶车辆需要将紧急车辆从其他普通车辆中区分出来，并识别出紧急车辆正在执行紧急任务，进而做出避让行为。因此，提供一种车辆状态检测方法来判断车辆类型是本领域技术人员亟需解决的技术问题。
技术实现思路
本申请提供了一种车辆状态检测方法、装置、设备和存储介质，用于解决现有技术只识别车辆类型，不能识别车辆状态，导致自动驾驶车辆做出不合理的避让行为的技术问题。有鉴于此，本申请第一方面提供了一种车辆状态检测方法，包括：获取图像数据和声音数据；通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；通过第二预置模型检测所述声音数据的类型，得到第二检测结果；根据所述第一检测结果和所述第二检测结果，确定车辆状态。可选的，所述通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果，之前还包括：基于获取的三维点云数据进行车辆检测，得到若干三维车辆检测框；基于目标车辆对所述三维车辆检测框进行选择，得到目标三维车辆检测框；将所述目标三维车辆检测框投影到所述图像数据上，得到目标二维车辆框；根据所述目标二维车辆框对所述图像数据进行裁剪，得到目标车辆图像。可选的，所述基于获取的三维点云数据进行车辆检测，得到若干三维车辆检测框，包括：对获取的三维点云数据和所述图像数据进行多模态融合，得到融合数据；对所述融合数据进行车辆检测，得到若干三维车辆检测框。可选的，所述将所述目标三维车辆检测框投影到所述图像数据上，得到目标二维车辆框，包括：对所述目标三维车辆检测框的每条边上的三维点云进行采样，得到采样点云集；将所述采样点云集投影到所述图像数据上，得到对应的目标二维点集；基于所述目标二维点集生成目标二维车辆框。可选的，所述基于所述目标二维点集生成目标二维车辆框，包括：计算所述目标二维点集的最小外接矩形，得到目标二维车辆框。可选的，所述根据所述第一检测结果和所述第二检测结果，确定车辆状态，之后还包括：当所述车辆状态中某一车辆状态与对应的历史车辆状态不一致时，根据所述历史车辆状态调整所述某一车辆状态；其中，所述历史车辆状态与所述某一车辆状态对应同一车辆，且该车辆的所述历史车辆状态为同一车辆状态。可选的，当所述车辆类别为紧急车辆时，所述车辆灯光状态包括：车辆紧急灯开启状态和车辆紧急灯未开启状态。可选的，所述第一预置模型的配置过程为：获取紧急车辆数据集和车端采集的训练图像；通过所述紧急车辆数据集对第一模型进行训练，得到预训练模型；通过所述训练图像训练所述预训练模型，得到所述第一预置模型。本申请第二方面提供了一种车辆状态检测装置，包括：第一获取单元，用于获取图像数据和声音数据；第一检测单元，用于通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；第二检测单元，用于通过第二预置模型检测所述声音数据的类型，得到第二检测结果；确定单元，用于根据所述第一检测结果和所述第二检测结果，确定车辆状态。本申请第三方面提供了一种车辆状态检测设备，所述设备包括处理器以及存储器；所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的车辆状态检测方法。本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的车辆状态检测方法。从以上技术方案可以看出，本申请具有以下优点：本申请提供了一种车辆状态检测方法，包括：获取图像数据和声音数据；通过第一预置模型检测图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；通过第二预置模型检测声音数据的类型，得到第二检测结果；根据第一检测结果和第二检测结果，确定车辆状态。本申请中，通过检测车辆类别来区分紧急车辆与普通车辆，通过检测车辆灯光状态以确定紧急车辆的紧急灯光状态和普通车辆灯光状态，得到第一检测结果；通过检测声音数据的类型，以区分紧急车辆的警笛声和普通车辆的笛声，得到第二检测结果；最终根据第一检测结果和第二检测结果确定车辆状态，进而可以确定紧急车辆状态或普通车辆状态，使得自动驾驶车辆可以根据紧急车辆状态或普通车辆状态做出合理的避让行为，解决了现有技术只识别车辆类型，不能识别车辆状态，导致自动驾驶车辆做出不合理的避让行为的技术问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例提供的一种车辆状态检测方法的一个流程示意图；图2为本申请实施例提供的一种车辆状态检测方法的另一个流程示意图；图3为本申请实施例提供的一种获取目标车辆图像的一个流程示意图；图4为本申请实施例提供的一种车辆状态检测装置的一个结构示意图；图5为本申请实施例提供的一种车辆状态检测设备的一个结构示意图。具体实施方式本申请提供了一种车辆状态检测方法、装置、设备和存储介质，用于解决现有技术只识别车辆类型，不能识别车辆状态，导致自动驾驶车辆做出不合理的避让行为的技术问题。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为了便于理解，请参阅图1，本申请提供的一种车辆状态检测方法的一个实施例，包括：步骤101、获取图像数据和声音数据。在本申请实施例中，可以通过自动驾驶车辆挂载的摄像头采集其周围环境的图像数据，可以通过自动驾驶车辆上布置的麦克风来采集其周围环境的声音数据。步骤102、通过第一预置模型检测图像数据中的车辆类别和车辆灯光状态，得到第一检测结果。在本申请实施例中，将获取的图像数据输入到第一预置模型进行车辆类别检测和车辆灯光状态检测，车辆类别检测主要是检测车辆为紧急车辆或普通车辆，车本文档来自技高网...

【技术保护点】
1.一种车辆状态检测方法，其特征在于，包括：/n获取图像数据和声音数据；/n通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；/n通过第二预置模型检测所述声音数据的类型，得到第二检测结果；/n根据所述第一检测结果和所述第二检测结果，确定车辆状态。/n

【技术特征摘要】
1.一种车辆状态检测方法，其特征在于，包括：
获取图像数据和声音数据；
通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果；
通过第二预置模型检测所述声音数据的类型，得到第二检测结果；
根据所述第一检测结果和所述第二检测结果，确定车辆状态。


2.根据权利要求1所述的车辆状态检测方法，其特征在于，所述通过第一预置模型检测所述图像数据中的车辆类别和车辆灯光状态，得到第一检测结果，之前还包括：
基于获取的三维点云数据进行车辆检测，得到若干三维车辆检测框；
基于目标车辆对所述三维车辆检测框进行选择，得到目标三维车辆检测框；
将所述目标三维车辆检测框投影到所述图像数据上，得到目标二维车辆框；
根据所述目标二维车辆框对所述图像数据进行裁剪，得到目标车辆图像。


3.根据权利要求2所述的车辆状态检测方法，其特征在于，所述基于获取的三维点云数据进行车辆检测，得到若干三维车辆检测框，包括：
对获取的三维点云数据和所述图像数据进行多模态融合，得到融合数据；
对所述融合数据进行车辆检测，得到若干三维车辆检测框。


4.根据权利要求2所述的车辆状态检测方法，其特征在于，所述将所述目标三维车辆检测框投影到所述图像数据上，得到目标二维车辆框，包括：
对所述目标三维车辆检测框的每条边上的三维点云进行采样，得到采样点云集；
将所述采样点云集投影到所述图像数据上，得到对应的目标二维点集；
基于所述目标二维点集生成目标二维车辆框。


5.根据权利要求4所述的车辆状态检测方法，其特征在于，所述基于所述目标二维点集生成目标二维车辆框，包括：
计算所述目标二维点集的最小外接矩形，得到目标二维车辆框。


6.根据...

【专利技术属性】
技术研发人员：雷雨苍，陈国斌，任晓波，李子贺，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：广东;44