本公开提供了一种信号灯状态的确定方法、装置、设备及介质，应用于设置有多个传感器的车辆，传感器用于检测车辆所处环境的数据，可以获取在当前时刻下每个传感器的当前采集数据，在前一时刻下通过历史数据融合得到的、位于鸟瞰图空间下的历史融合数据特征，以及历史时间段内每个历史时刻下识别出的、交通信号灯的历史预测状态信息，对各个当前采集数据进行特征提取，得到各个当前采集数据的当前数据特征，各个当前数据特征包括当前图像特征，将多个当前数据特征与历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征，基于当前融合数据特征、当前图像特征和历史预测状态信息，确定在当前时刻下交通信号灯的预测状态信息。
【技术实现步骤摘要】
本公开涉及车辆，具体而言，涉及一种信号灯状态的确定方法、装置、设备及介质。
技术介绍
1、随着社会的不断发展，城市机动化程度越来越高，在车辆行驶的过程中，往往需要对车辆的环境进行感知，例如道路上的行人、车辆等动态参与者以及车道线、交通信号灯等与交通规则相关的信息，从而丢车辆进行安全高效的路径规划和控制。其中，交通信号灯用于引导车辆在道路交叉口或者其他交通路口上的行为，从而使得道路交通安全有序。
2、为了获取交通信号灯的状态信息，大多依赖地图先验，通过高精地图获取当前车道对应的交通信号灯的位置，然后计算出在相机拍摄的图像中交通信号灯对应的所在参考区域(region of interest，roi)，进而在该roi内进行交通信号灯的状态的检测和识别。然而该方案对于高精地图和roi的依赖度较高，在高精地图更新不及时以及roi计算存在误差的情况下，可能会引起对于交通信号灯状态的错误识别，影响车辆行驶的安全性。
技术实现思路
1、本公开实施例至少提供一种信号灯状态的确定方法、装置、设备及介质。
2、本公开实施例提供了一种信号灯状态的确定方法，应用于设置有多个传感器的车辆，所述传感器用于检测所述车辆所处环境的数据，所述方法包括：
3、获取在当前时刻下每个传感器的当前采集数据，在前一时刻下通过历史数据融合得到的、位于鸟瞰图空间下的历史融合数据特征，以及历史时间段内每个历史时刻下识别出的、交通信号灯的历史预测状态信息，所述历史时间段包括所述前一时刻；
>4、对各个所述当前采集数据进行特征提取，得到各个所述当前采集数据的当前数据特征，各个所述当前数据特征包括当前图像特征；5、将多个所述当前数据特征与所述历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征；
6、基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息。
7、一种可选的实施方式中，所述将多个所述当前数据特征与所述历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征，包括：
8、将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征；
9、将所述候选融合数据特征与所述历史融合数据特征进行特征融合处理，得到当前融合数据特征。
10、一种可选的实施方式中，所述将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征，包括：
11、将各个所述当前数据特征转换到鸟瞰图空间下，得到在鸟瞰图空间下与各个所述当前数据特征对应的当前鸟瞰图数据特征；
12、将多个所述当前鸟瞰图数据特征进行空间对齐处理，得空间对齐处理后的多个当前鸟瞰图数据特征；
13、将所述空间对齐处理后的多个当前鸟瞰图数据特征进行特征融合处理，得到候选融合数据特征。
14、一种可选的实施方式中，所述将所述候选融合数据特征与所述历史融合数据特征进行特征融合处理，得到当前融合数据特征，包括：
15、将所述候选融合数据特征与所述历史融合数据特征进行空间对齐处理，得空间对齐处理后的候选融合数据特征与历史融合数据特征；
16、将所述空间对齐处理后的候选融合数据特征与历史融合数据特征进行特征融合处理，得到当前融合数据特征。
17、一种可选的实施方式中，所述基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息，包括：
18、将所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息输入至预先搭建好的状态预测模型，通过所述状态预测模型基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息对所述交通信号灯进行状态预测，得到在当前时刻下所述交通信号灯的预测状态信息，所述历史预测状态信息通过所述状态预测模型在历史时间段内每个历史时刻下预测得到。
19、一种可选的实施方式中，所述通过所述状态预测模型基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息对所述交通信号灯进行状态预测，得到在当前时刻下所述交通信号灯的预测状态信息，包括：
20、按照预设的状态预测要求，通过所述状态预测模型基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息对所述交通信号灯进行状态预测，得到符合所述状态预测要求的预测状态信息，所述状态预测要求包括直行、左转、右转、掉头中的至少一种行驶方向，所述预测状态信息包括与所述状态预测要求指示的行驶方向对应的交通信号灯的预测颜色。
21、一种可选的实施方式中，在所述基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息之后，所述方法还包括：
22、基于所述预测状态信息以及针对所述车辆的感知结果，对所述车辆进行路线规划，所述感知结果包括障碍物检测结果、车道线检测结果、可行驶区域检测结果中的至少一种。
23、本公开实施例还提供一种信号灯状态的确定装置，所述装置包括：
24、数据获取模块，用于获取在当前时刻下每个传感器的当前采集数据，在前一时刻下通过历史数据融合得到的、位于鸟瞰图空间下的历史融合数据特征，以及历史时间段内每个历史时刻下识别出的、交通信号灯的历史预测状态信息，所述历史时间段包括所述前一时刻；
25、特征提取模块，用于对各个所述当前采集数据进行特征提取，得到各个所述当前采集数据的当前数据特征，各个所述当前数据特征包括当前图像特征；
26、特征融合模块，用于将多个所述当前数据特征与所述历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征；
27、信息确定模块，用于基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息。
28、一种可选的实施方式中，所述特征融合模块具体用于：
29、将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征；
30、将所述候选融合数据特征与所述历史融合数据特征进行特征融合处理，得到当前融合数据特征。
31、一种可选的实施方式中，所述特征融合模块在用于所述将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征时，具体用于：
32、将各个所述当前数据特征转换到鸟瞰图空间下，得到在鸟瞰图空间下与各个所述当前数据特征对应的当前鸟瞰图数据特征；
33、将多个所述当前鸟瞰图数据特征进行空间对齐处理，得空间对齐处理后的多个当前鸟瞰图数据特征；
34、将所述空间对齐处理后的多个当前鸟瞰图数据特征进行特征融合处理，得到候选融合数据特征。
35、一种可选的实施方式中，所述特征融合模块在用于所述将所述候选融合数据特征与所述本文档来自技高网...
【技术保护点】
1.一种信号灯状态的确定方法，其特征在于，应用于设置有多个传感器的车辆，所述传感器用于检测所述车辆所处环境的数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将多个所述当前数据特征与所述历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述候选融合数据特征与所述历史融合数据特征进行特征融合处理，得到当前融合数据特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述通过所述状态预测模型基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息对所述交通信号灯进行状态预测，得到在当前时刻下所述交通信号灯的预测状态信息，包括：
>
7.根据权利要求1所述的方法，其特征在于，在所述基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息之后，所述方法还包括：
8.一种信号灯状态的确定装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的信号灯状态的确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7中任一项所述的信号灯状态的确定方法的步骤。
...
【技术特征摘要】
1.一种信号灯状态的确定方法，其特征在于，应用于设置有多个传感器的车辆，所述传感器用于检测所述车辆所处环境的数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将多个所述当前数据特征与所述历史融合数据特征在鸟瞰图空间下进行特征融合处理，得到当前融合数据特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述将多个所述当前数据特征在鸟瞰图空间下进行特征融合处理，得到候选融合数据特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述候选融合数据特征与所述历史融合数据特征进行特征融合处理，得到当前融合数据特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述当前融合数据特征、所述当前图像特征和所述历史预测状态信息，确定在当前时刻下所述交通信号灯的预测状态信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述通过所述状态预测模型基于所述当前融...
【专利技术属性】
技术研发人员：潘腾腾，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。