情境驾驶员监控系统技术方案

公开了用于情境驾驶员监视的系统和方法。在一个实施方式中，一个或多个第一输入被接收和处理以确定车辆内存在的驾驶员的状态。接收并处理一个或多个第二输入以确定与车辆相关联的导航条件，该导航条件包括从云资源接收的时间道路条件或驾驶员的行为。基于导航条件，计算驾驶员注意力阈值与驾驶员的状态和驾驶员注意力阈值相关地发起一个或多个动作。一个或多个动作。一个或多个动作。

【技术实现步骤摘要】
【国外来华专利技术】情境驾驶员监控系统
相关申请的交叉引用
[0001]本申请享有2018年6月26日提交的美国专利申请62/690,309、2018年11月8日提交的美国专利申请62/757,298和2019年4月16日提交的美国专利申请62/834,471优先权，通过引用将其全部内容合并在此。


[0002]本公开的各方面和实施方式涉及数据处理，并且更具体地但不限于涉及情境驱动器监视。背景
[0003]为了安全地操作机动车，该机动车的驾驶员必须将他/她的注意力集中在行驶的道路或道路上。驾驶员的注意力可能会周期性地改变(例如，当看着车辆的后视镜时)。附图的简要说明
[0004]根据以下给出的详细描述以及本公开的各个方面和实施方式的附图，将更全面地理解本公开的方面和实施方式，然而，不应将其理解为将本公开限制为特定的方面或实施方式，但仅用于解释和理解。
[0005]图1示出了根据示例实施例的示例系统。
[0006]图2示出了根据示例实施例的示例系统的其他方面。
[0007]图3描绘了根据示例实施例的本文描述的示例场景。
[0008]图4是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
[0009]图5是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
[0010]图6是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
[0011]图7是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
[0012]图8是示出根据示例实施例的能够从机器可读介质读取指令并执行本文讨论的任何方法的机器组件的框图。详细说明
[0013]本公开的各方面和实施方式针对情境驾驶员监视。
[0014]可以理解，各种眼睛跟踪技术使得能够确定用户的目光(例如，用户的眼睛指向或聚焦的方向/位置)。然而，这样的技术要求在用户的一只或多只眼睛和另一个物体之间识别/确定相关性。例如，除了可以感知用户的眼睛的照相机之外，某些技术还利用向外指向第二个照相机(即，在用户注视的方向上)。然后必须使由各个摄像机捕获的图像(例如，反映用户注视的图像和描述用户正在注视的对象的图像)相关联。可替代地，其他解决方案在已知位置/设备处向用户呈现图标，指示符等。然后，用户必须查看引用的图标，然后才能执行校准。但是，两个引用的解决方案都具有许多缺点。例如，两种解决方案都需要附加的硬件，这些附加的硬件可能昂贵，难以安装/配置或无法实现。
[0015]因此，本文在各种实施方式中描述了用于驾驶员监视的系统，方法和相关技术。如本文所述，所公开的技术相对于现有解决方案提供了许多优点和改进。
[0016]因此，可以理解，所描述的技术针对并解决了多个
中的特定技术挑战和长期缺陷，这些
包括但不限于图像处理，眼睛跟踪和机器视觉。如本文中详细描述的，所公开的技术提供了针对所引用的技术挑战和所引用的
中未满足的需求的特定的技术解决方案，并且在常规方法上提供了许多优点和改进。另外，在各种实施方式中，本文所引用的硬件元件，组件等中的一个或多个诸如以本文所描述的方式操作以启用，改进和/或增强所描述的技术。
[0017]图1示出了根据一些实施方式的示例系统100。如图所示，系统100包括传感器130，其可以是图像采集设备(例如，照相机)，图像传感器，IR传感器或本文所述的任何其他传感器。传感器130可以被定位或定向在车辆120内(例如，汽车，公共汽车，飞机，飞行车辆或用于运输的任何其他此类车辆)。在某些实施方式中，传感器130可以包括或集成一个或多个处理器132，该处理器132处理由传感器捕获的图像和/或其他这样的内容。在其他实施方式中，传感器130可以被配置为与其他设备连接和/或以其他方式通信(如本文所述)，并且这样的设备可以接收和处理参考图像。
[0018]车辆可以包括自动驾驶车辆，自动驾驶车辆，半自动驾驶车辆；在地面上行驶的车辆包括汽车，公共汽车，卡车，火车，与军队有关的车辆；飞行器，包括但不限于飞机，直升机，无人驾驶飞机，飞行“汽车的轴心仪”，半自动飞行器；具有或不具有电动机的车辆，包括自行车，四轴飞行器，个人车辆或非个人车辆；船舶，任何海上交通工具，包括但不限于船舶，游艇，滑水喷气式潜艇。
[0019]传感器130(例如，照相机)可以包括例如CCD图像传感器，CMOS图像传感器，光传感器，IR传感器，超声传感器，接近传感器，短波红外(SWIR)图像传感器，反射率传感器，RGB相机，黑白相机或任何其他能够感应环境视觉特征的设备。此外，传感器130可以包括例如能够扫描区域的单个光电传感器或1
‑
D线传感器，2
‑
D传感器或包括例如多个2
‑
D图像传感器的立体传感器。在某些实施方式中，例如，照相机可以与用于将特定的光区域聚焦到图像传感器上的透镜相关联。镜头可以窄也可以宽。宽镜头可用于获得较宽的视野，但这可能需要高分辨率传感器才能获得良好的识别距离。或者，两个传感器可与视野重叠的较窄镜头配合使用；它们在一起提供了广阔的视野，但是两个这样的传感器的成本可能低于高分辨率传感器和宽透镜。
[0020]传感器130可以观察或感知例如锥形或金字塔形的空间。传感器130可以具有固定位置(例如，在车辆120内)。由传感器130捕获的图像可以被数字化并且输入到至少一个处理器132，或者可以以模拟形式被输入到至少一个处理器132并且由至少一个处理器数字化。
[0021]应当注意的是，如图1所示的传感器130包括传感器130。如图1所示，以及在其他图中描绘的和在此描述和/或引用的各种其他传感器可以包括例如图像传感器，该图像传感器被配置为获取三维(3
‑
D)观看空间的图像。图像传感器可以包括任何图像采集设备，包括例如照相机，光传感器，非生物(IR)传感器，超声波传感器，接近传感器，CMOS图像传感器，短波红外(SWIR)中的一个或多个。图像传感器或反射率传感器，能够扫描区域的单个光电传感器或一维线传感器，CCD图像传感器，反射率传感器，包括3
‑
D图像传感器或两个或多个两个的深度视频系统
‑
尺寸(2
‑
D)立体图像传感器，以及能够感应环境视觉特征的任何其他设备。位于一个或多个传感器的观看空间中的用户或其他元素可能会出现在由一个或多个
传感器获得的图像中。传感器可以将2
‑
D或3
‑
D单色，彩色或IR视频输出到处理单元，该处理单元可以与传感器集成在一起或通过有线或无线通信连接到传感器渠道。
[0022]如图1中所描绘的至少一个处理器132包括：如图1所示，以及在其他图中描绘的和在此描述和/或引用的各种其他处理器可以包括例如对一个或多个输入执行逻辑运算的电路。例如，这样的处理器可以包括一个或多个集成电路，微芯片，微控制器，微处理器，中央处理单元(CPU)，图形处理单元(GPU)，数字信号处理器(DSP)的全部或部分，现场本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：处理设备；和存储器，耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：接收一个或多个第一输入；处理一个或多个第一输入以确定车辆内存在的驾驶员的状态；接收一个或多个第二输入；处理一个或多个第二输入以确定与车辆相关联的一个或多个导航条件，该一个或多个导航条件包括以下至少一项：从云资源接收的时间道路状况或驾驶员的行为；基于一个或多个导航条件，计算驾驶员的注意力阈值；和发起与(A)驾驶员状态和(B)驾驶员注意力阈值相关的一个或多个动作。2.根据权利要求1所述的系统，其中处理所述一个或多个第二输入以确定一个或多个导航条件包括经由神经网络处理所述一个或多个第二输入。3.根据权利要求1所述的系统，其中处理所述一个或多个第一输入以确定所述驾驶员的状态包括经由神经网络处理一个或多个第一输入。4.根据权利要求1所述的系统，其中，驾驶员的行为包括以下至少一项：车辆内发生的事件，驾驶员对车辆内的乘客的注意，由车辆内的一个或多个乘客发起的一个或多个事件。车辆，相对于车辆内存在的设备发生一个或多个事件；在车辆中存在的设备处接收到一个或多个通知；一个或多个事件，反映驾驶员对车辆内设备的注意力变化。5.根据权利要求1所述的系统，其中，所述时间道路状况还包括以下至少之一：所述车辆正在行驶的道路路径，所述车辆正在行驶的道路上存在一个或多个弯道，或者存在一个或多个弯道。在车辆行驶时将物体挡在妨碍驾驶员视线的位置。6.根据权利要求5所述的系统，其中，所述物体包括以下各项中的至少一项：山，建筑物，车辆或行人。7.根据权利要求5所述的系统，其中，所述物体的存在阻碍了所述驾驶员相对于所述车辆正在行驶的道路的一部分的视线。8.根据权利要求5所述的系统，其中，所述物体的存在包括以下中的至少一项：在相对于所述车辆正在行驶的道路阻碍驾驶员视线的位置处，所述物体的存在，所述物体的存在。在相对于该车辆行驶的道路上存在的一个或多个车辆而妨碍驾驶员视线的位置中，该物体的存在相对于在道路上发生的事件而妨碍驾驶员视线的位置的存在相对于一个或多个行人靠近车辆行驶的道路的存在，车辆行驶在道路上或物体的存在阻碍了驾驶员的视线。9.根据权利要求1所述的系统，其中，计算驾驶员注意力强度阈值包括计算以下至少一项：直到驾驶员可以看到与该车辆在道路的同一侧上的另一辆车辆为止的预计时间，直到驾驶员可以看到另一辆车辆为止的预计时间。车辆位于道路对面的车辆，或者确定的估计时间，直到驾驶员可以调整车辆的速度以解决其他车辆的存在。10.根据权利要求1所述的系统，其中，所述时间道路状况还包括与在随后的事件之前相对于所述车辆的当前位置先前发生的一个或多个事件有关的统计数据，所述后续事件包括事故。11.根据权利要求10所述的系统，其中，所述统计信息涉及在所述车辆被投影在其上行驶的道路的一个或多个部分上发生的一个或多个事件。
12.根据权利要求10所述的系统，其中，所述一个或多个事件包括以下中的至少一项：一种或多种天气状况，一种或多种交通状况，道路上的交通密度，后续事件涉及的一种或多种车辆行进的速度。与道路相关的速度限制，或在后续事件发生之前可能造成损害的物质的消耗。13.根据权利要求1所述的系统，其中处理所述一个或多个第一输入包括识别与所述车辆的驾驶员相关联的一个或多个先前确定的状态。14.根据权利要求1所述的系统，其中，处理一个或多个第一输入包括：在当前驾驶间隔期间，识别与所述车辆的驾驶员相关联的一个或多个先前确定的状态。15.根据权利要求1所述的系统，其中，所述驾驶员的状态包括以下一项或多项：驾驶员的头部运动，驾驶员的眼睛的一个或多个特征，驾驶员的心理状态或驾驶员的情绪状态。16.根据权利要求1所述的系统，其中，与所述车辆相关联的所述一个或多个导航条件还包括以下一项或多项：所述车辆行驶的道路的条件，所述车辆附近的环境条件，或附近的一或多个其他车辆的存在到车辆。17.根据权利要求1所述的系统，其中，所述一个或多个第二输入是从一个或多个传感器接收的嵌入车辆内。18.根据权利要求1所述的系统，其中，所述一个或多个第二输入是从高级驾驶员辅助系统(ADAS)接收的。19.根据权利要求1所述的系统，其中，计算驾驶员注意力阈值包括调整驾驶员注意力阈值。20.根据权利要求1所述的系统，其中处理所述一个或多个第一输入包括处理所述一个或多个第一输入以确定在进入所述车辆之前的驾驶员的状态。21.根据权利要求1所述的系统，其中，处理一个或多个第一输入包括：处理所述一个或多个第一输入，以确定进入车辆后的驾驶员状态。22.根据权利要求1所述的系统，其中，驾驶员的状态还包括以下一项或多项：车辆内存在的环境条件或车辆外存在的环境条件。23.根据权利要求1所述的系统，其中，驾驶员的状态还包括以下一项或多项：乘客与驾驶员的通信，一个或多个乘客之间的通信，解开安全带的乘客，与相关设备相互作用的乘客。与车辆，一个或多个乘客在车辆内的行为，乘客发起的非语言交互或针对驾驶员的物理交互。24.根据权利要求1所述的系统，其中，驾驶员注意力水平阈值包括与驾驶员相关联的确定的注意力水平。25.根据权利要求24所述的系统，其中，所述驾驶员专注度阈值还包括：与一个或多个其他驱动程序相关的注意力水平。26.一种系统，包括：处理设备；存储器，其耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：接收一个或多个第一输入；处理一个或多个第一输入以识别与车辆有关的第一物体；接收一个或多个第二输入；
处理一个或多个第二输入，以基于一个或多个先前确定的与该第一对象相关联的一个或多个对象相关的与该车辆的驾驶员相关联的注意力状态，确定该车辆的驾驶员的专心状态关于第一个目标；和根据驾驶员的注意力状态启动一个或多个动作。27.根据权利要求26所述的系统，其中，所述第一物体包括以下至少之一：路标或道路结构。28.根据权利要求26所述的系统，其中，相对于当前驾驶间隔内的先前实例，确定所述一个或更多个先前确定的注意力状态。29.根据权利要求26所述的系统，其中，关于一个或多个先前驾驶间隔内的先前实例，确定所述一个或多个先前确定的注意力状态。30.根据权利要求26所述的系统，其中，与所述车辆的驾驶员相关联的所述一个或多个先前确定的注意力状态包括由关于一个或多个对象的与所述车辆的驾驶员相关联的一个或多个先前确定的注意力集中状态反映的动态。与第一个对象关联。31.根据权利要求30所述的系统，其中，所述动态由一个或多个先前确定的状态反射。注意力包括以下至少一项：驾驶员注视第一物体的频率，驾驶员注视第二物体的频率，驾驶员注视一个或多个物体的一种或多种情况，一种或多种情况。在这种情况下，驾驶员不会注视一个或多个物体，一个或多个环境条件。32.根据权利要求26所述的系统，其中，与所述车辆的驾驶员相关联的一个或多个先前确定的专注度状态包括由与所述车辆的驾驶员相关联的与所述车辆的驾驶员相关联的一个或多个先前确定的专注度状态反映的动态的统计模型。与第一个对象关联的一个或多个对象。33.根据权利要求26所述的系统，其中，处理一个或多个第二输入包括：处理所述车辆的驾驶员注视第二物体的频率，以确定所述车辆的驾驶员相对于所述第一物体的注意力状态。34.根据权利要求26所述的系统，其中处理所述一个或多个第二输入以确定当前的注意力状态包括：将(a)与所述车辆的驾驶员和所述第一物体相关联的一个或多个先前确定的注意力状态与(b)相关联一或多个第二输入。35.根据权利要求26、30或32中的任一项所述的系统，其中，所述第一输入的处理，所述第二输入的处理，计算驾驶员专注度阈值，计算由一个或多个先前确定的专注度状态所反映的动态中的至少一个通过神经网络，与车辆的驾驶员和第一对象或第二对象的驾驶员，使与车辆的驾驶员和第一对象或第二对象相关的一个或多个先前确定的注意力状态相关联。36.根据权利要求26所述的系统，其中，还与以下至少一项相关地确定所述驾驶员的注意力状态：所述驾驶员注视所述第一物体的频率，所述驾驶员注视第二物体的频率，相对于导航指令，一个或多个环境条件或一天中的时间，一种或多种驾驶模式，与驾驶员相关联的一种或多种驾驶模式。37.根据权利要求26所述的系统，其中，进一步基于以下各项中的至少一项来确定所述驾驶员的注意力状态：对所行驶的道路的熟悉程度，所行驶的道路的行驶频率，或自此以来经过的时间先前行驶过的道路。
38.根据权利要求26所述的系统，其中，还基于以下各项中的至少一项来确定所述驾驶员的注意力状态：驾驶员的心理状态，驾驶员的生理状态，确定驾驶员已经进行的睡眠量，确定驾驶员已经参与了驾驶的量或与驾驶员相关联的眼睛发红程度。39.根据权利要求26所述的系统，其中，进一步基于所述驾驶员来确定驾驶员的专注状态与驾驶员的视线移向第一物体有关的信息。40.根据权利要求39所述的系统，其中，进一步基于以下条件确定驾驶员的专注状态与驾驶员将视线移向第一物体的持续时间相关的信息。41.根据权利要求39所述的系统，其中，进一步基于以下条件确定驾驶员的专注状态与驾驶员的视线向着第一物体的移动有关的运动特征相关联的信息。42.根据权利要求26所述的系统，其中，处理一个或多个第二输入包括：处理(a)与驾驶员的视线相对于与(b)的与第一对象相关联的一个或多个对象的移动相关的一个或多个提取特征与驾驶员当前实例将视线移向第一物体相关的一个或多个提取特征，以确定车辆驾驶员的当前注意力状态。43.一种系统，包括：处理设备；和存储器，耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：接收一个或多个第一输入；处理一个或多个第一输入以识别与车辆有关的第一物体；接收一个或多个第二输入；基于(a)驾驶员相对于第一物体的凝视方向和(b)一个或多个第二输入，确定车辆驾驶员相对于第一物体的专注状态或更多条件下驾驶员感知到第一个物体；和根据驾驶员的注意力状态启动一个或多个动作。44.根据权利要求43所述的系统，其中，所述一个或多个条件包括以下至少一个...

【专利技术属性】
技术研发人员：伊泰，
申请(专利权)人：塔米尔，
类型：发明
国别省市：