用于求取车辆的车灯的状态的方法和设备技术

本发明专利技术涉及一种用于求取车辆(115)的车灯的状态的方法。所述方法包括读取的步骤和分析处理的步骤。在读取的步骤中，读取图像信号(130)，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像。在分析处理的步骤中，在使用可人工学习的模型(135)、尤其人工神经网络的情况下分析处理所述图像信号(130)。在此，区分分别代表所述车辆(115)的车灯的一个状态的至少两个状态类别。求取代表所述车辆(115)的车灯的当前状态的状态类别作为分析处理结果。

Method and equipment for obtaining the state of vehicle lights

【技术实现步骤摘要】
用于求取车辆的车灯的状态的方法和设备
本专利技术从根据独立权利要求所述类型的一种设备或一种方法出发。一种计算机程序也是本专利技术的主题。
技术介绍
可能的是，识别在前方行驶的车辆的尾灯是否闪烁。为此，可以在使用在前方行驶的车辆的尾灯的图像信号的情况下对尾灯的强度变化过程进行频率研究，并且可以求取尾灯激活、即闪烁的可能性。US2017039435A1描述一种用于识别在前方行驶的车辆闪烁的方法。
技术实现思路
在此背景下，借助在此提出的方案提出根据主权利要求所述的用于求取车辆的车灯状态的一种方法和一种设备以及可人工学习的模型、尤其人工神经网络的训练。通过在从属权利要求中列举的措施能够实现在独立权利中说明的设备的有利的扩展方案和改进方案。借助在此提出的方案可能的是，在使用在前方行驶的车辆的背视的图像的情况下识别车辆的车灯的状态，或者在使用迎面驶来的车辆的前视的图像的情况下识别车辆的车灯的状态。除了闪烁外也可以识别制动。例如可以对尾灯的形状和组合进行分类(制动、警告闪光灯、制动和闪烁等)。因此，尾灯应至少亮一次以进行识别。不强制性地需要闪烁(即重复地或周期性地接通/关断灯)。在此，有利地不需要单独地定位或单独地跟踪各个车灯。可以与设计和所使用的灯类型不相关地识别车灯的状态，由此例如也可以识别脉冲式的发光二极管车灯。此外，也可以识别部分有缺陷的车灯。有利地，可以与闪烁频率不相关地识别闪烁的车灯。提出一种用于求取车辆的车灯的状态的方法。所述方法具有读取的步骤和分析处理的步骤。在读取的步骤中读取图像信号，所述图像信号包括具有所探测到的车辆的车辆区域的摄像机图像。在分析处理的步骤中，在使用可人工学习的模型、尤其人工神经网络的情况下分析处理图像信号。在此，区分分别代表车辆的车灯的一个状态的至少两个状态类别。求取代表车辆的车灯的当前状态的状态类别作为分析处理的结果。所述车辆可以是陆地车辆或商用车辆或其他的交通或运输工具，其也可以实施为具有自动化的驾驶运行的自行驶的车辆。“车灯”可以例如理解为车辆照明装置，例如车辆的尾灯，即行驶方向指示器、制动灯、倒车灯或大灯(Scheinwerfer)(例如车辆的前大灯或后雾灯)。图像信号可以通过与车辆的传感器装置的接口来读取。图像信号可以包括所探测到的车辆的车辆区域的包覆体所谓的边界框。车辆区域例如可以是车辆尾部或车辆前部。可人工学习的模型可以理解为具有可学习结构的模型，所述可学习结构可以用于重新识别所读取的(图像)信号中的模式。可人工学习的模型也可以简化地称为可学习的模型。例如，可(人工)学习的模型可以实施为人工神经网络或单层的、多层的或递归的网络。替代地，也可以在使用其他的顺序的机器学习方法，例如隐马尔可夫模型(HMM)、条件随机场(CRF)或任意的递归神经网络(RNN)的情况下进行分析处理的步骤。这些学习方法或模型也可以理解为可人工学习的模型或可人工学习的模型的训练。分别代表车辆的车灯的一个状态的至少两个状态类别可以代表为如下状态：例如车灯的运行状态(例如开或关)，并且附加地或替代地，代表车灯的类型，即灯类型的辨识。可以求取车灯的当前状态，例如“左闪光灯打开”或“尾灯打开”或“倒车灯关闭”。根据一种实施方式，在分析处理的步骤中可以区分分别代表车辆的另外的车灯的一个状态的至少两个另外的状态类别。在这种情况下，可以求取代表所述车辆的另外的车灯的当前状态的另外的状态类别作为分析处理结果。这对于借助所述方法求取多个车灯的当前状态是有利的。由此例如可以求取在车辆区域中可见的所有车灯(例如所有尾灯)的当前状态，由此可以区分也可能包括多个车灯的不同灯状态。因此，有利地可能的是，借助所述方法区分制动的闪烁或紧急制动的闪烁。根据一种实施方式，在读取的步骤中，可以读取图像信号，所述图像信号具有至少两个图像部分信号。至少两个图像部分信号可以分别包含图像信号的不同颜色信息。可以在使用至少两个图像部分信号的情况下执行分析处理的步骤。作为不同的颜色信息，可以包含例如不同的图像区域、相同图像区域的不同颜色通道或者图像区域的具有图像区域的细分的颜色直方图。此外，根据一种实施方式，在读取的步骤中可以读取至少两个图像部分信号，所述至少两个图像部分信号分别代表不同光谱范围内的车辆区域。这关于车灯的清晰对比度是有利的。附加地或替代地，在读取的步骤中，至少两个图像部分信号可以代表所探测到的车辆的不同的车辆部分区域。作为车辆部分区域，例如可以使用车辆轮廓(Fahrzeugsilhouette)的或车辆边界框的图像区域的颜色直方图。这关于图像信号的空间信息的识别是有利的。根据一种实施方式，可以在使用可反馈式学习的模型、尤其反馈式神经网络作为人工神经网络的情况下实施分析处理的步骤。为此，可反馈式学习的模型例如可以具有长的短期记忆，所谓的“长短期记忆”(LSTM)，或具有“门控循环单元”(GRU)。根据一种实施方式，在读取的步骤中，也可以读取探测信号。探测信号可以代表车辆的第一次识别。在分析处理的步骤中，可以响应于探测信号将可反馈式学习的模型置于预先确定的状态中。可以将可反馈式学习的模型置于基本状态中，例如在成功训练可人工学习的模型后将其置于初始状态中。这有利地防止：用于求取车辆的车灯状态的先前方法的值影响后续方法。此外，根据一种实施方式，在读取的步骤中，图像信号可以包括具有所探测到的另外的车辆的车辆区域的摄像机图像。在此，在分析处理的步骤中，可以区分分别代表另外的车辆的车灯的一个状态的至少两个状态类别。然后可以求取代表另外的辆车的车灯的当前状态的状态类别作为分析处理结果。由此，有利地可能的是，求取多个车辆的车灯的状态，以便例如在具有多个交通参与者的交通状况中进行状况估计。这尤其对于在具有自动化的驾驶运行的车辆中的应用可能是有利的。根据一种实施方式，如果探测到另外的车辆，则可以在使用另外的可人工学习的模型、尤其另外的人工神经网络的情况下实施分析处理的步骤，以便求取另外的车辆的车灯的状态。例如，对于在图像信号中代表的所探测到的每个车辆可以分别初始化一个可人工学习的模型或神经网络，以求取所探测到的车辆的车灯的状态。根据一种实施方式，在分析处理的步骤中还可以在使用函数argumentummaximi的情况下求取分析处理结果。这对于确定车灯的所求取的状态的置信度是有利的。根据一种实施方式，所述方法还可以包括输出分析处理信号的步骤。分析处理信号可以代表分析处理结果。此外，可以将分析处理信号作为视觉信号并且附加地或替代地作为听觉信号来输出。分析处理信号例如可以通过与车辆的显示装置的接口来提供。为了显示车辆的车灯的当前状态，例如具有所探测到的车辆的摄像机图像或车辆的边界框可以显示在车辆的显示装置上，并且车灯的状态例如可以彩色地和符号地(例如通过在所显示的车辆的激活的车灯的位置上的彩色箭头)显示，以便例如可视化借助车灯的所求取的状态来识别的闪烁过程或制动过程。有利地，分析处理结果因此可以清楚且省时地提供给车辆的驾驶员。借助该方案还提出一种用于学习可人工学习的模型、尤其人本文档来自技高网...

【技术保护点】
1.一种用于求取车辆(115)的车灯(605)的状态的方法(200)，其中，所述方法(200)具有以下步骤：/n读取(205)图像信号(130)，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像(315)；以及/n在使用可人工学习的模型(135)、尤其人工神经网络的情况下分析处理(210)所述图像信号(130)，其中，区分分别代表所述车辆(115)的车灯(605)的一个状态的至少两个状态类别(420)，其中，求取代表所述车辆(115)的车灯(605)的当前状态的状态类别(420)作为分析处理结果。/n

【技术特征摘要】
20181022 DE 102018218015.61.一种用于求取车辆(115)的车灯(605)的状态的方法(200)，其中，所述方法(200)具有以下步骤：
读取(205)图像信号(130)，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像(315)；以及
在使用可人工学习的模型(135)、尤其人工神经网络的情况下分析处理(210)所述图像信号(130)，其中，区分分别代表所述车辆(115)的车灯(605)的一个状态的至少两个状态类别(420)，其中，求取代表所述车辆(115)的车灯(605)的当前状态的状态类别(420)作为分析处理结果。


2.根据权利要求1所述的方法(200)，其中，在所述分析处理的步骤(210)中，区分分别代表所述车辆(115)的另外的车灯(605)的一个状态的至少两个另外的状态类别(420)，其中，求取代表所述车辆(115)的另外的车灯(605)的当前状态的另外的状态类别(420)作为分析处理结果。


3.根据以上权利要求中任一项所述的方法(200)，其中，在所述读取的步骤(205)中，读取所述图像信号(130)，所述图像信号具有至少两个图像部分信号(415)，所述至少两个图像部分信号分别包含所述图像信号(130)的不同颜色信息，其中，在使用所述至少两个图像部分信号(415)的情况下执行所述分析处理的步骤(210)。


4.根据权利要求3所述的方法，其中，在所述读取的步骤(205)中，读取所述至少两个图像部分信号(415)，所述至少两个图像部分信号分别代表不同光谱范围内的车辆区域，和/或，其中，在所述读取的步骤(205)中，所述至少两个图像部分信号(415)分别代表所探测到的车辆(115)的不同的车辆部分区域(505)。


5.根据以上权利要求中任一项所述的方法(200)，其中，在使用可反馈式学习的模型(405)、尤其反馈式神经网络作为所述可人工学习的模型(135)、尤其所述人工神经网络的情况下实施所述分析处理的步骤(210)。


6.根据权利要求5所述的方法(200)，其中，在所述读取的步骤(205)中，读取探测信号(410)，所述探测信号代表所述车辆(115)的第一次识别，其中，在所述分析处理的步骤(210)中响应于所述探测信号(410)将所述可反馈式学习的模型(405)置于预先确定的状态中。


7....

【专利技术属性】
技术研发人员：A·伦斯费尔德，E·迪特里希，M·布吕克纳，P·伦茨，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE