用于确定车辆用户的视线方向的方法、装置、计算机设备、车辆和介质制造方法及图纸

提供了一种用于确定车辆用户的视线方向的方法，包括：获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。确定所述车辆用户的视线方向。确定所述车辆用户的视线方向。

【技术实现步骤摘要】
用于确定车辆用户的视线方向的方法、装置、计算机设备、车辆和介质


[0001]本公开涉及车辆
，特别是涉及一种用于确定车辆用户的方法、装置、计算机设备、车辆、存储介质。

技术介绍

[0002]安全性是车辆的重要性能之一，而车辆用户在车辆驾驶过程中是否集中注意力是安全性的重要影响因素之一。通过确定车辆用户的视线方向，可以判断车辆用户的注意力集中情况，以便为有效避免交通事故提供了很大的可能性。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]根据本公开的一方面，提供了一种用于确定车辆用户的视线方向的方法，包括：获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。
[0005]根据本公开的另一方面，提供了一种用于确定车辆用户的视线方向的装置，包括：第一单元，用于获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；第二单元，用于通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；第三单元，用于基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；第四单元，用于基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。
[0006]根据本公开的又另一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行前述方法。
[0007]根据本公开的再另一方面，提供了一种车辆，包括前述装置或前述计算机设备。
[0008]根据本公开的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行前述方法。
[0009]根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使所述处理器执行前述方法。
[0010]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0011]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0012]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
[0013]图2是图示出根据示例性实施例的用于确定车辆用户的视线的方法的流程图；
[0014]图3是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
[0015]图4是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
[0016]图5是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
[0017]图6是图示出根据示例性实施例的用于确定车辆用户的视线的装置的示意性框图；
[0018]图7是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
[0019]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0020]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0021]在一些相关技术中，可以利用汽车座舱内设置的传感器采集车内图像来对车辆用户、尤其是驾驶员的视线方向、亦即注意力状态进行监控。通过该监控可以了解车辆用户在驾驶过程的注意力情况、疲倦程度、身体状态等信息。利用监控获取的上述信息，可以进行一系列操作来提高车辆的驾驶安全。例如，可以在检测到驾驶员注意力不够集中时提醒驾驶员集中注意力，或者在检测到驾驶员或乘客员过于疲倦或身体状态不佳时提示驾驶员注意休息。
[0022]然而，为了更快(例如实时)更准确地确定视线方向对计算结果的速度和准确性都提出了更高的要求。不仅如此，传感器的选择、布置和内部参数也会对计算结果产生非常的影响。
[0023]鉴于上述情况，本公开提出一种改进的确定车辆用户的视线方向的方法。如本文使用的，术语“车辆用户”不限于是指驾驶员，也可以是指乘员。
[0024]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0025]下面结合附图详细描述本公开的示例性实施例。
[0026]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
[0027]参考图1，该系统100包括车载系统110、服务器120、以及将车载系统110与服务器120通信地耦合的网络130。
[0028]车载系统110包括显示器114和可经由显示器114显示的应用程序(APP)112。应用程序112可以为车载系统110默认安装的或由用户102下载和安装的应用程序，或者作为轻量化应用程序的小程序。在应用程序112为小程序的情况下，用户102可以通过在宿主应用中搜索应用程序112(例如，通过应用程序112的名称等)或扫描应用程序112的图形码(例如，条形码、二维码等)等方式，在车载系统110上直接运行应用程序112，而无需安装应用程序112。在一些实施例中，车载系统110可以包括一个或多个处理器和一个或多个存储器(未示出)，并且车载系统110被实现为车载计算机。在一些实施例中，车载系统110可以包括更多或更少的显示屏114(例如，不包括显示屏114)，和/或一个或多个扬声器或其他人机交互设备。在一些实施例中，车载系统110可以不与服务器120通信。
[0029]服务器120可以代表单台服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定车辆用户的视线方向的方法，包括：获取由布置在车辆处的摄像系统中的第一摄像装置采集的第一图像，其中，所述第一图像包括所述车辆用户的人脸；通过对所述第一图像进行人脸检测，确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿；基于所述眼球在所述第一相机坐标系中的位姿以及基于所述第一摄像装置在所述车辆的车辆坐标系中的位姿，确定所述眼球在所述车辆坐标系中的位姿；基于所述眼球在所述车辆坐标系中的位姿，确定所述车辆用户的视线方向。2.根据权利要求1所述的方法，其中，所述确定所述车辆用户的眼球在所述第一摄像装置的第一相机坐标系中的位姿包括：获取通过对所述第一图像进行人脸检测而得到的所述人脸的至少四个关键点的第一标识，其中，所述至少四个关键点不在同一平面中；基于预设的映射策略，将所述第一标识映射成所述人脸在所述第一相机坐标系中的位姿；通过对所述第一图像进行眼球角度检测，确定所述眼球在所述车辆用户的人脸坐标系中的位姿；基于所述人脸在所述第一相机坐标系中的位姿以及基于所述眼球在所述人脸坐标系中的位姿，确定所述眼球在所述第一相机坐标系中的位姿。3.根据权利要求2所述的方法，其中，所述摄像系统包括作为所述第一摄像装置的单目相机，所述映射策略包括通过对默认人脸预先建立关键点的3D模型而得到的标识映射模型。4.根据权利要求2所述的方法，其中，所述摄像系统包括多个第一摄像装置，所述映射策略包括基于所述多个第一摄像装置之间的相对位姿而确定的标识映射模型。5.根据权利要求2所述的方法，其中，所述摄像系统还包括第二摄像装置，并且所述将所述第一标识映射成所述人脸在所述第一相机坐标系中的位姿包括：获取由所述第二摄像装置采集的第二图像，其中，所述第二图像包括所述车辆用户的人脸；获取通过对所述第二图像进行人脸检测而得到的所述人脸的所述至少四个关键点的第二标识，其中，所述第二标识与所述第一标识分别与位于所述人脸...

【专利技术属性】
技术研发人员：魏沛伦，布如国，
申请(专利权)人：北京宾理信息科技有限公司，
类型：发明
国别省市：