基于上下文的状态估计制造技术

可以确定对不同输入或条件具有鲁棒性的对象的状态信息。对于困倦，面部界标可以从捕获的图像数据中确定并用于确定一组眨眼参数。可以使用这些参数，例如与时间网络一起使用，以估计对象的状态(例如，困倦)。为了提高鲁棒性，眼睛状态确定网络可以从图像数据中确定眼睛状态，而不依赖于中间界标，所述中间坐标可以用于(例如与另一个时间网络)估计对象的状态。这些值的加权组合可用于确定对象的整体状态。为了提高准确性，可以利用个人行为模式和上下文信息来考虑由于对象变化或当前上下文而不是状态变化导致的数据变化。而不是状态变化导致的数据变化。而不是状态变化导致的数据变化。

【技术实现步骤摘要】
基于上下文的状态估计

技术介绍

[0001]一直存在提高各种环境中的安全性的愿望。例如，这可以包括准确确定可能正在操作设备(例如车辆或机器)的人的困倦，如果不以足够的注意力或意识进行操作，可能会导致损坏或伤害。虽然存在试图确定诸如困倦或警觉等状态的系统，但这些系统并非在所有情况下都准确，或者对于用户、用户状态或环境条件之间的变化具有足够的鲁棒性。
附图说明
[0002]将参照附图描述根据本公开的各个实施例，在附图中：
[0003]图1A和1B示出了根据至少一个实施例的车辆的多个组件的示例；
[0004]图2A、2B、2C、2D、2E和2F示出了根据至少一个实施例的可以使用的特征数据；
[0005]图3示出了根据至少一个实施例的可以使用的困倦估计系统；
[0006]图4示出了根据至少一个实施例的用于估计对象状态的示例过程；
[0007]图5A和5B示出了根据至少一个实施例的用于解释不是由于对象状态改变而引起的变化或行为的过程；
[0008]图6示出了根据至少一个实施例的用于确定人的状态的系统的组件；
[0009]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图8示出了根据至少一个实施例的示例数据中心系统；
[0012]图9示出了根据至少一个实施例的计算机系统；
[0013]图10示出了根据至少一个实施例的计算机系统；
[0014]图11示出了根据一个或更多个实施例的图形处理器的至少部分；
[0015]图12示出了根据一个或更多个实施例的图形处理器的至少部分；
[0016]图13是根据至少一个实施例的高级计算管线的示例数据流程图；
[0017]图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及
[0018]图15A和15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于利用预先训练的注释模型来增强注释工具的客户端
‑
服务器架构；
[0019]图16A和16B示出了根据至少一个实施例的可以与车辆系统一起使用的组件。
具体实施方式
[0020]根据各种实施例的方法可以提供对人或其他此类对象的状态的确定。特别地，各种实施例提供了至少部分地基于观察到的人随时间的眨眼行为来确定人的困倦、疲劳或警觉状态。可以使用包括多个神经网络的端到端困倦估计系统，因此可以对输入数据的变化相对鲁棒。这些神经网络中的一个可用于确定捕获的图像数据中的一组面部界标，这可用于确定对象在一段时间内的一组眨眼参数。这组眨眼参数可以用于(例如与时间网络一起)来推理对象的状态值，例如在捕获的图像数据中表示的感兴趣的人的困倦程度。单独的神
经网络可以从捕获的图像数据中确定眼睛状态(例如，睁眼或闭眼)，而不依赖于中间面部界标的准确性，这可以提高整个过程的鲁棒性。可以使用眼睛状态信息，例如与另一个时间网络一起使用，以推理对象的另一个状态值。然后可以使用来自这些时间网络的状态值，例如通过加权组合，如果每个都以至少最小置信度推理，则确定该人的总体状态值估计。该状态值可用于根据人的状态确定是否采取行动，以及确定采取哪种类型的行动。为了提高这种估计的准确性，系统还可以尝试考虑个体对象之间的行为变化，以及由于当前上下文或环境的变化(例如驾驶上下文的变化)引起的变化。对象和/或上下文数据可以作为输入提供给时间网络，例如，这样网络可以通过将眨眼参数或其他观察到的行为数据与与当前上下文中的特定对象更相关的基线进行比较来推理更准确的状态数据。
[0021]考虑图1A中所示出的自主车辆100，例如可能包括一名或更多名司机或乘客的半自主或计算机辅助车辆。在至少一个实施例中，车辆100可以是但不限于客运车辆，诸如轿车、卡车、公共汽车和/或容纳一个或更多个乘客的另一类型的车辆。在至少一个实施例中，车辆100可以是用于拖运货物的半牵引拖车卡车。在至少一个实施例中，车辆100可以是飞机、机器人车辆或其他类型的车辆。
[0022]可以就自动化水平来描述自主车辆，该自动化水平由国家公路交通安全管理局(“NHTSA”)、美国运输部的分部以及汽车工程师协会(“SAE”)
ꢀ“
与用于公路机动车辆驾驶自动化系统相关的术语的分类和定义”(例如，公开于2018年6月15日的标准号J3016
‑
201806，公开于2016年9月30 日的标准号J3016
‑
201609，以及此标准的先前和未来版本)定义。在一个或更多个实施例中，车辆100可以能够具有根据自主驾驶等级的等级1
‑
等级5中的一个或更多个的功能。例如，在至少一个实施例中，取决于实施例，车辆100可以能够进行有条件自动化(3级)、高自动化(4级)和/ 或全自动化(5级)。
[0023]在至少一个实施例中，车辆100可包括但不限于诸如底盘、车身、车轮(例如，2、4、6、8、18等)、轮胎、车轴和车辆的其他组件的组件。在至少一个实施例中，车辆100可包括但不限于推进系统150，诸如内燃机、混合动力电站、全电力发动机和/或另一推进系统类型。在至少一个实施例中，推进系统150可连接至车辆100的传动系，该传动系可包括但不限于变速器，以使车辆100能够推进。在至少一个实施例中，推进系统150 可响应于从油门/加速器152接收信号而被控制。
[0024]在至少一个实施例中，可包括但不限于方向盘的转向系统154用于在推进系统150操作时(例如，当车辆在运动中时)转向车辆100(例如，沿着期望的路径或路线)。在至少一个实施例中，转向系统154可从(一个或更多个)转向致动器156接收信号。方向盘对于全自动化(5级)功能可以是可选的。在至少一个实施例中，制动传感器系统146可用于响应于从(一个或更多个)制动致动器148和/或制动传感器接收信号来操作车辆制动。
[0025]在至少一个实施例中，可以包括但不限于一个或更多个片上系统 (“SoC”)(图1A中未示出)和/或(一个或更多个)图形处理单元(“(一个或更多个)GPU”)的(一个或更多个)控制器136，向车辆100的一个或更多个组件和/或系统提供信号(例如，表示命令)。例如，在至少一个实施例中，控制器136可发送信号以经由制动致动器148操作车辆制动，经由转向致动器156操作转向系统154，和/或经由油门/加速器152操作推进系统150。控制器136可包括一个或更多个车载(例如，集成)计算设备(例如，超级计算机)，其处理传感器信号，并输出操作命令(例如，表示命令的信号)以能够自主驾驶和/或辅助人类驾驶员驾驶车辆100。
在至少一个实施例中，(一个或更多个)控制器136可以包括用于自主驾驶功能的第一控制器136、用于功能安全功能的第二控制器136、用于人工智能功能(例如，计算机视觉)的第三控制器136、用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收图像数据，所述图像数据包括一段时间内人脸的表示；从所述图像数据的至少一部分确定所述人的一组眨眼参数；确定生成所述图像数据的时间的上下文数据，所述上下文数据与一个或更多个环境条件有关；以及将所述一组眨眼参数和所述上下文数据传递到至少第一时间网络以生成所述人的至少第一困倦预测，其中所述上下文数据用于解释由于所述一个或更多个环境条件所导致的所述一组眨眼参数中的变化。2.如权利要求1所述的计算机实现的方法，其中，所述一个或更多个环境条件与道路配置、亮度、天气、一天中的时间、位置、速度或周围对象的数量中的至少一项有关。3.如权利要求1所述的计算机实现的方法，还包括：使用来自一个或更多个相机、传感器、全球定位系统GPS信号或网络数据源的数据确定所述一个或更多个环境条件。4.如权利要求1所述的计算机实现的方法，还包括：至少部分地基于所述一个或更多个环境条件确定眨眼场景；以及使用对应于所述眨眼场景的一个或更多个眨眼阈值来确定所述第一困倦预测。5.如权利要求1所述的计算机实现的方法，还包括：使用所述图像确定所述人的身份；识别所述人的眨眼简档，所述人的眨眼简档包括所述人特有的一个或更多个眨眼行为；以及进一步基于所述一个或更多个眨眼行为的数据生成至少所述第一困倦预测。6.如权利要求1所述的计算机实现的方法，还包括：识别所述图像数据中的一组面部界标；从所述图像数据中确定表示所述人的眼睛是完全或部分睁开还是完全或部分闭合的眼睛状态信息；从所述图像数据中确定所述人的头部姿势信息；至少部分地基于所述一组面部界标、所述头部姿势信息和所述眼睛状态信息来确定所述一组眨眼参数；从所述眼睛状态信息中确定最近一段时间的眨眼频率信息；将所述一组眨眼参数传递给所述第一时间网络以生成所述人的所述第一困倦预测；将所述眨眼频率信息传递给第二时间网络以生成所述人的第二困倦预测；以及至少部分地基于所述第一困倦预测和所述第二困倦预测来针对所述人提供总体困倦确定。7.如权利要求6所述的计算机实现的方法，其中，所述第一时间网络和所述第二时间网络是长短期记忆LSTM网络，并且其中，由所述LSTM网络生成的所述第一困倦预测和所述第二困倦预测对应于卡罗林斯卡瞌睡量表KSS值。8.如权利要求6所述的计算机实现的方法，其中，所述一组眨眼参数的至少一个子集是使用从所述一组面部界标计算的纵横比信息来确定的。9.如权利要求1所述的计算机实现的方法，其中，所述上下文数据作为从所述上下文数
据确定的一个或更多个特征向量作为输入提供给所述第一时间网络。10.一种系统，包括：相机，其用于捕获图像数据，所述图像数据包括一段时间内人脸的表示；一个或更多个处理器；以及存储器，其包括指令，所述指令在由所述一个或更多个处理器执行时，使所述系统：从所述图像数据的至少一部分确定所述人的一组眨眼参数；确定捕获所述图像数据的时间的上下文数据，所述上下文数据与一个或更多个环境条件有关；以及使用所述一组眨眼参数和所述上下文数据用至少第一时间网络来生成所述人的至少第一困倦预测，其中所述上下文数据用于考虑由于一个或更多个环境条件所导致的所述一组眨眼参数中的变化。11.如权利要求10所述的系统，其中，如果所述指令由所述一个或更多个处理器执行，则进一步使所述系统：使用来自一个或更多个相机、传感器、全球定位系统GPS信号或网络数据源的数据确定所述一个或更多个环境条件，其中所述一个或更多个环境条件与道路配置、亮度、天气、一天中的时间、位置、速度或周围对象的数量中的至少一项有关。12.如权利要求10所述的系统，其中，如果所述指令由所述一个或更多个处理器执行，则进一步使所述系统：至少部分地基于所述一个或更多个环境条件确定眨眼场景；以及使用对应于所述眨眼场景的一个或更多个眨眼阈值来确定所述第一困...

【专利技术属性】
技术研发人员：任育卓，N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：