【技术实现步骤摘要】
技术介绍
1、自主和半自主车辆依赖于机器学习方法(诸如使用深度神经网络(dnn)的那些机器学习方法)来分析车辆或其他机器的内部空间(例如，舱室、驾驶舱)的图像。乘员监控系统(oms)是可以在车辆舱室内使用以执行对乘员(occupant)或操作者(operator)存在、注视、警觉性和/或其他状况的实时评估的系统的示例。例如，oms传感器(诸如但不限于rgb传感器、红外(ir)传感器、深度传感器、相机、和/或其他光学传感器)可以用于跟踪乘员或操作者的注视方向、头部姿态、和/或眨眼。该注视信息可以用于确定乘员或操作者的注意力水平(例如，用于检测困倦、疲劳和/或分心)，和/或采取响应性动作以防止伤害乘员或操作者——例如，通过将他们的注意力重定向至潜在危险、将车辆靠边停车等。例如，dnn可用于基于操作者朝向车辆地板的向下注视来检测操作者在开车时睡着了，并且该检测可导致对汽车速度和方向的调节(例如，将车辆靠边停在道路一侧)或对操作者的听觉警报。乘员监控系统通常依赖于用反映不同人的面部特征的大量训练图像数据来训练dnn以帮助提高跨所有人的注视预测的准确度。
技术实现思路
1、本公开的实施例涉及用于生成用于训练舱室内监控系统和应用的真值注视数据的技术。在收集注视训练数据期间，收集对应于弯曲的、小的或不规则形状的表面的注视数据可能是具有挑战性的。作为此挑战的结果，可能不从车辆的舱室内的某些位置收集(或可能不准确地收集)注视数据。因此，用于训练dnn的训练数据的鲁棒性可被限制为更容易实现的注视目标
2、与常规系统(诸如以上所描述的那些)相比，本公开中提出的系统和方法可以使用安装在舱室内部的已知位置处的注视目标投影仪来将经投影注视目标产生(例如，使投影)到舱室的内表面上。在一些实施例中，注视目标投影仪可以包括机器人注视目标投影仪(例如，诸如万向架安装的机器人激光器和/或激光测距仪)。在一些实施例中，注视目标投影仪可包括平视显示投影仪。因为光束可以用于产生经投影注视目标，所以经投影注视目标可以显示在舱室内部的表面上的投影点处，即使投影点处的表面是弯曲的、小的或不规则的形状，只要在注视目标投影仪与期望的投影点之间存在无障碍的视线即可。此外，注视目标投影仪可包括测距传感器(例如，激光测距仪、超声测距仪)，用于确定从注视目标投影仪到经投影注视目标出现的目标点的距离。经投影注视目标的投影点位置的表示(例如，以极坐标方位角、仰角和距离)可被变换成相对于注视目标投影仪的笛卡尔坐标，该笛卡尔坐标又可被映射到舱室坐标系。如此，当控制注视目标投影仪以在舱室的内表面上的投影点处产生经投影注视目标时，可以容易地确定舱室坐标系中的该经投影注视目标的3d坐标。
3、可以使用注视目标投影仪通过捕获包括例如测试乘员的眼睛和注视方向的图像帧的图像数据来生成真值注视数据。当经投影注视目标被选择性地投影到舱室的内表面上并且测试驾驶员的注视指向经投影注视目标时，捕获图像数据。注视目标的投影应当随着图像帧捕获测试乘员的眼睛而抓住测试驾驶员的注意力，因为他们的注视指向经投影注视目标的照亮(illumination)。所捕获的图像帧可以用经投影注视目标的3d坐标来标注(例如，加标签)以产生对应于训练图像的真值数据。附加的真值注视数据可以相同方式被生成，以通过在图像帧捕获驾驶员(或其他乘员)的眼睛和注视方向的同时顺序地生成到舱室的各个内表面上的附加经投影注视目标来产生训练数据集。
本文档来自技高网...【技术保护点】
1.一种系统，包括：
2.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
3.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
4.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
5.如权利要求1所述的系统，其中所述注视目标投影仪包括测距传感器，其中所述一个或更多个处理单元进一步用于基于由所述测距传感器测量的距离计算所述3D坐标。
6.如权利要求1所述的系统，其中所述注视目标投影仪包括：
7.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
8.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
9.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
10.如权利要求1所述的系统，其中所述注视目标投影仪包括一个或更多个基准点标记，其中所述一个或更多个处理单元进一步用于至少基于所述一个或更多个基准点标记的坐标，确定与所述注视目标的所述投影的所述位置相对应的所述3D空间中的所述位置。
11.如权利要求1所述的系统，其中所述内部空间的所述表面包括抗反射表面处理。
12.如权利要求1所述的系统，其中所述系统被包括在以下各项中的至少一项中：
13.一种处理器，包括：
14.如权利要求13所述的处理器，其中所述一个或更多个处理单元进一步用于：
15.如权利要求13所述的处理器，其中所述一个或更多个处理单元进一步用于：
16.如权利要求13所述的处理器，其中所述一个或更多个处理单元进一步用于：
17.如权利要求13所述的处理器，其中所述一个或更多个处理单元进一步用于：
18.如权利要求13所述的处理器，其中所述一个或更多个处理单元进一步用于：
19.如权利要求13所述的处理器，其中所述处理器被包括在以下各项中的至少一项中：
20.一种方法，包括：
...【技术特征摘要】
1.一种系统，包括：
2.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
3.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
4.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
5.如权利要求1所述的系统，其中所述注视目标投影仪包括测距传感器，其中所述一个或更多个处理单元进一步用于基于由所述测距传感器测量的距离计算所述3d坐标。
6.如权利要求1所述的系统，其中所述注视目标投影仪包括：
7.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
8.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
9.如权利要求1所述的系统，其中所述一个或更多个处理单元进一步用于：
10.如权利要求1所述的系统，其中所述注视目标投影仪包括一个或更多个基准点标记，其中所述一个或更多个处理单元进一步用于至少基于所...
【专利技术属性】
技术研发人员：马丁·亨佩尔，N·普里，A·杰恩，陈俊玮，金大珍，F·范斯达尔，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。