用于在机动车辆中进行乘员状态监控的方法和设备技术

本发明专利技术涉及一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：

【技术实现步骤摘要】
用于在机动车辆中进行乘员状态监控的方法和设备


[0001]本专利技术涉及机动车辆，并且尤其是涉及用于监控乘员状态、尤其是用于进行驾驶员疲劳识别的方法。

技术介绍

[0002]显而易见地在机动车辆中使用用于进行内部空间监控的系统，以便识别驾驶员状态、诸如驾驶员的疲倦，但是也识别烟雾、脏物的出现，或者用于识别车辆乘员的攻击性行为。为此，一方面可以使用基于现象的方法，所述方法以基于摄像机的方法记载车辆内部空间中的变化，并且根据预训练的变化过程模式（Verlaufsmuster）对所述变化进行分类。另一方面，也可以使用现有的传感器系统，所述传感器系统检测车辆参量、诸如转向角的变化过程。通过评估转向角的变化过程，可以识别特定的转向角行为并且给所述转向角行为分配乘员状态（Insassenzustand）。
[0003]对于所有已知的方法，必须提前提供要识别的时间变化过程模式，这是耗费的且成本密集的。由于可以反映特定乘员状态的表现形式的多样性，全面地考虑与要识别的乘员状态相关的所有变化过程模式通常是不可能的。此外，尤其是记录针对驾驶员的疲劳的变化过程模式是有问题的，因为这是在正常道路交通中极少发生的例外情况。

技术实现思路

[0004]根据本专利技术，提供一种根据权利要求1所述的用于在机动车辆中识别乘员状态的方法以及根据并列权利要求所述的设备和机动车辆。
[0005]在从属权利要求中说明其他设计方案。
[0006]根据第一方面，提供一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：
‑
检测摄像机数据和/或一个或多个检测参量的时间变化过程；
‑
借助于可训练的基于数据的异常探测模型执行异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型被训练用于识别车辆乘员的行为的变化；
‑
在识别到异常时，用信号通知（Signalisieren）由于所识别的车辆乘员的行为的变化而引起的危险。
[0007]用于识别驾驶员状态的上述方法的目的在于识别对于驾驶员、车辆和其他交通参与者有危险的车辆乘员的状态（乘员状态）。在此，要识别的乘员状态很少且难以被重调节（nachstellen），使得车辆乘员的相应的行为模式难以被检测以用于训练或设计这样的系统。
[0008]根据上述方法，提出乘员状态监控，其中借助于异常探测模型鉴于异常的存在来检验摄像机数据和/或一个或多个检测参量的时间变化过程。在所识别的异常情况下，使用来自异常探测模型的特征状态，以便在分类模型中给所述特征状态分配特定的乘员状态、
诸如驾驶员疲劳、丧失知觉性、受伤的车辆乘员或驾驶员的睡眠状态、另一车辆乘员的攻击性行为等。
[0009]乘员行为在时间上通过图像检测传感器系统检测，例如通过适当的摄像机传感器系统、诸如摄像机检测，以便获得摄像机数据，和/或通过车辆传感器系统、诸如转向角传感器系统等检测，以便获得检测参量作为传感器参量或调节参量。该检测传感器系统记载一个或多个传感器参量或调节参量的时间变化过程作为乘员行为，所述传感器参量或调节参量说明乘员特定的行为。
[0010]可以规定，可训练的基于数据的异常探测模型包括神经记忆网络，所述神经记忆网络被训练用于根据一个或多个实际行为特征来预测一个或多个行为特征，所述实际行为特征从摄像机数据和/或一个或多个检测参量的至少一个时间变化过程中被确定，其中根据一个或多个实际行为特征和一个或多个所预测的行为特征来识别异常。
[0011]尤其是，可以根据一个或多个实际行为特征的分布与一个或多个所预测的行为特征的分布之间的至少一个偏差来确定异常。
[0012]根据上述方法，异常探测模型可以对应于记忆网络（SHARED MEMORY
‑
AUGMENTED NEURAL NETWORKS（共享记忆增强神经网络））。神经记忆网络适用于识别在较长时间段上的行为模式。为此，记忆网络包含长时间记忆（Langzeitged
ä
chtnis）。可以读取和写入长时间记忆，以便使用所述长时间记忆用于预报。例如，这种记忆网络的作用方式从Cosmin I. Bercea等人的“SHAMANN: Shared Memory Augmented Neural Networks”（Information Processing in Medical Imaging, IPMI, Hong Kong, China 2019）中已知。
[0013]乘员的行为可以借助于记忆网络被存储非常长时间并且被评估，例如几个小时。
[0014]可替代地，可以利用以下步骤执行所述异常探测：
‑
从摄像机数据和/或所述检测参量的时间变化过程中尤其是借助于特征模型确定行为特征；
‑
借助于可训练的基于数据的探测模型执行异常探测，用于识别行为特征的异常，其中所述探测模型被训练用于根据所提供的行为特征来识别所述乘员状态的异常。
[0015]借助适当的特征模型，可以将特定的行为特征分配给乘员行为。这些特征可以包括例如眼睛运动的频率、强度、眨眼频率、头部运动频率、头部运动强度、打哈欠、转向干预频率和强度等。可以自由选择时间窗，在所述时间窗期间评估一个或多个检测参量的变化过程或由此检测的乘员行为。如此检测的行为特征可以相应地被编码并且作为行为特征向量被输送给探测模型。
[0016]此外，可以借助于例如被实施为自动编码器的探测模型来执行异常探测，其中根据从行为特征中确定的行为特征向量与经重构的输出向量之间的偏差来识别异常。
[0017]因此，异常探测模型可以被构造为特征模型和自动编码器的组合。从开始该方法起，利用相应的行为特征向量对其（dieser）进行训练，使得将行为特征向量映射到自身。在此，经训练的自动编码器的编码器部分始终将行为特征向量映射到具有较低维度（Dimensionalit
ä
t）的潜在特征状态。
[0018]可以规定，在确定出异常时，使用自动编码器的潜在特征状态，以便确定由于车辆乘员的行为的变化而引起的危险的类型。
[0019]在开始该方法之后特定的持续时间之后，自动编码器的编码器部分可以被用于探
测乘员状态的变化。为此，检验行为特征向量与异常探测模型的所再现的输出向量之间的偏差。如果差异处于预先给定的阈值以下，则利用最后获得的行为特征向量进一步训练探测模型。
[0020]而如果识别到大于预先给定阈值的偏差，则识别到乘员状态的变化。可以根据构造为自动编码器的探测模型的潜在特征状态来进行驾驶员的乘员状态的变化，以便借助于下级的（nachgeordneten）分类模型来分配乘员状态的变化，诸如驾驶员疲倦的出现、驾驶员的丧失知觉性、谈话中的驾驶员、另一车辆乘员的攻击性行为等。
[0021]尤其是，可以提供分类模型，用于在确定出异常时将异常探测模型的潜在特征状态分配给由于车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于识别机动车辆中的车辆乘员的乘员状态的计算机实施的方法，所述方法包括以下步骤：
‑
检测（S1）摄像机数据和/或一个或多个检测参量的至少一个时间变化过程；
‑
借助于可训练的基于数据的异常探测模型（20；13）执行（S2
‑
S4；S13，S14）异常探测，用于识别所述摄像机数据和/或所述一个或多个检测参量的时间变化过程中的异常，其中所述异常探测模型（20；13）被训练用于识别车辆乘员的行为的变化；
‑
在识别到异常时，用信号通知（S6）由于所识别的车辆乘员的行为的变化而引起的可能危险。2.根据权利要求1所述的方法，其中所述可训练的基于数据的异常探测模型（20）包括神经记忆网络（共享记忆增强神经网络），所述神经记忆网络被训练用于根据一个或多个实际行为特征（VM）预测一个或多个行为特征（VM'），所述实际行为特征从摄像机数据和/或所述一个或多个检测参量的至少一个时间变化过程中被确定，其中根据所述一个或多个实际行为特征（VM）和一个或多个所预测的行为特征（VM'）来识别所述异常。3.根据权利要求2所述的方法，其中根据所述一个或多个实际行为特征（VM）的分布与所述一个或多个所预测的行为特征（VM'）的分布之间的至少一个偏差来确定所述异常。4.根据权利要求1所述的方法，其中利用以下步骤执行所述异常探测：
‑
从摄像机数据和/或所述检测参量的时间变化过程中确定（S12）一个或多个行为特征；
‑
借助于所述可训练的基于数据的异常探测模型（13）执行（S13，S14）异常探测，用于识别所述一个或多个行为特征的异常，其中所述异常探测模型（13）被训练用于根据所提供的行为特征（VM、VM'）来识别所述乘员状态的异常。5.根据权利要求4所述的方法，其中借助于自动编码器（12）执行所述异常探测，其中根据从所述行为特征中确定的行为特征向量与经重构的输出向量之间的偏差来识别...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：罗伯特，
类型：发明
国别省市：