用于校准摄像机的方法、车辆用的设备和计算机程序产品技术

本发明专利技术涉及用于校准摄像机的方法、车辆用的设备和计算机程序产品。本发明专利技术涉及用于校准用于在车辆中进行视向识别的摄像机的方法、用于具有摄像机和至少一个其他元件的机动车辆的设备和计算机程序产品。在此所述至少一个其他元件与摄像机以固定的几何关系布置。所述方法包括借助于在摄像机（500）的图像中探测至少一个相对的视向改变来校准，其中用户朝向所述其他元件（100、200、300、400）改变其视向。所述方法的特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的视线改变。于是所述视线改变也即通过双重使用发挥优点：所述视线改变不仅用于校准而且用于用户的行动。

【技术实现步骤摘要】

本专利技术涉及用于校准在车辆中的用于视向识别的摄像机的方法、用于具有摄像机和至少一个其他元件的车辆的设备和计算机程序产品。在此，至少一个其他元件与摄像机以固定的几何关系被布置。
技术介绍
摄像机被使用在车辆和其他应用场景中，所述摄像机被布置为使得所述摄像机可以检测用户、例如车辆的驾驶员的头部和眼睛。摄像机的基本定位在此允许确定用户的视向。然而利用仅一个摄像机对视向的绝对确定要求：所述摄像机和视向识别事先被校准。所述摄像机在此例如借助于所谓的带端校准（Bandende-Kalibrierung）被校准，所述带端校准也被称作EOL校准（end of line Kalibrierung（线端校准））。对于视向识别，在DE 102005047160中使用用于确定视向的椭圆识别。从圆形瞳孔的椭圆形映射的精确位置中可以推断出眼睛的位置和从中推断出使用者的视向。S.Kohlbecher等人在‘Calibration-Free Eye Tracking by Reconstruction of the Pupil Ellipse in 3-D Space, ETRA'08, 2008’中描述基于立体的无校准方法。校准的另一可能性在于，使用户与其他元件相互作用，例如其方式是：用户必须利用眼睛跟踪屏幕上的标记，所述标记关于摄像机的空间布置是已知的并且原则上是不可变的。用户的视向改变随屏幕上标记的每个位置变换而出现，所述视向改变在摄像机图像中至少可以相对地被确定。必要时在使用摄像机的摄像机参数的情况下能够再次由标记的位置改变、屏幕与摄像机的固定的空间几何关系和探测到的相对的视向改变来确定绝对的视向。借助于多个绝对视向，因此可以获得视向识别的稳定的校准。
技术实现思路
专利技术人已经认识到，如果用户的需要的视向改变可以在用户的行动的范围内进行，其中所述用户本来就实施所述行动，那么所述校准可以通过与其他元件的相互作用被改善。按照本专利技术，按照权利要求1提供用于校准用于在车辆中识别绝对视向的摄像机的方法。至少一个其他元件与摄像机以固定的空间几何关系布置。所述校准借助于在摄像机的图像中探测至少一个相对视向改变进行，其中用户朝向该其他元件改变其视线。所述方法的特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的相对视向改变。于是所述视线改变也即通过双重使用发挥优点：所述视线改变不仅用于校准而且用于用户的行动。在一种优选的实施方式中，所述方法可以包括在使用相对的视向改变和固定的空间几何关系的情况下测定绝对视向。这改善所述校准。为了测定绝对视向，可以考虑来自（aus）带端校准的摄像机的摄像机参数。这进一步改善所述校准。多个绝对视向可以被测定，所述绝对视向于是被考虑用于校准视向识别。这更进一步改善所述校准。所述校准可以包括确定在由摄像机记录的图像中的头部位置和眼睛位置，和根据确定的头部位置和确定的眼睛位置测定相对的视向改变。因此能够容易地测定相对的视向改变。所述其他元件可以例如包括收音机、汽车导航系统和/或空调设备，并且所述行动可以包括对按键、触摸板和/或触摸屏的操作。于是可以容易地探测视向改变的进行。所述其他元件也可以包括后视镜和/或屏幕，并且所述行动可以包括行驶机动动作。所述方法可以包括使摄像机的视频时间戳与所述其他元件的操作事件和/或显示事件同步，所述操作事件和/或显示事件触发所述行动或者通过所述行动被触发。这使得在图像中探测相对的视向改变变得简单。按照本专利技术，此外按照权利要求9提出用于具有摄像机和至少一个其他元件的机动车辆的设备。所述其他元件与摄像机以固定的空间几何关系布置，其中所述设备被设立用于，实施按照本专利技术提出的方法的步骤。最后还按照本专利技术提出按照权利要求10所述的计算机程序产品。所述计算机程序产品包括用于当所述程序在车辆的控制设备上被实施时执行按照本专利技术的方法的计算机可实施的程序代码，其中所述车辆包括摄像机和与摄像机处于固定空间几何关系的至少一个其他元件。本专利技术的有利的改进方案在从属权利要求中说明并且在说明书中描述。附图说明本专利技术的实施例根据附图和以下描述进一步被阐述。其中：图1示出用于校准车辆的内部空间摄像机的示意性和示例性系统总览。具体实施方式在图1中示出用于校准车辆的内部空间摄像机的示意性和示例性系统总览。所述系统包括操作元件和/或显示元件100、200、300、400、内部空间摄像机500和电子控制设备(electronic control unit（电子控制单元）, ECU)600，其中所述内部空间摄像机500检测车辆的驾驶员的脸。所述元件100、200、300、400通过车辆总线系统900、例如CAN总线与控制设备600通信。操作元件和/或显示元件100、200、300、400的包括导航系统、汽车音频系统、侧视镜和后视镜、仪表显示器和空调控制面板。所述控制设备包括用于图像处理的单元610，所述单元610与内部空间摄像机500连接，并且在摄像机的图像中确定头部位置和眼睛位置，并且根据头部位置和眼睛位置的变化确定相对的视向改变。所述控制设备此外包括用于例如在ACC随动行驶（automatic cruise control（自动巡航控制））的范围中评估车辆总线900上的人机接口活动（Human-Machine-Interface-Aktivität（人机接口活动），HMI活动）的单元620。所述单元620可以例如从行驶机动动作（例如闪光灯设置、车道转换）推断出：在摄像机图像中探测到的相对的视向改变对应于驾驶员到后视镜中或者到侧视镜之一中的视线。类似地，可以从到车辆的音频系统或者导航系统中的输入推断出：在摄像机图像中探测到的相对的视向改变对应于驾驶员到所属的操作元件或者操作系统的上的视线。由单元630使由单元610确定的视向改变与HMI活动同步，所述HMI活动由单元620确定。其他数据700由单元640考虑，以便由与HMI活动同步的视向改变计算绝对的视向。其他数据700例如包括来自摄像机的带端校准的摄像机参数和关于操作元件相对于摄像机的光轴的空间几何布置的数据。后者可以例如来自车辆的CAD模型。单元650最后从如由所述单元640确定的两个或多个绝对的视向来测定绝对的视向，并且输出视向的校准参数800。所述单元可以是独立的硬件组件或者软件模块或者软件组件。所述控制设备可以履行附加的任务。所述控制设备例如可以是主单元（head unit（主机））或者仪表组、显示设备的部分，所述显示设备用于显示多个参数、例如速度、转速、公里数和油箱液位。所述软件模块或者软件组件可以存储在存储介质、也即例如CD、DVD、USB棒或者闪速（Flash）构件或者其他计算机程序产品上。所述操作元件100、200、300、400可以例如是导航系统、汽车音频系统或者空调设备。如果驾驶员例如操作所述汽车音频系统或者所述导航系统，并且实施标题搜索或者目标搜索，则这按照本专利技术被认为是关于以下的标志：即所述驾驶员与搜索同时地将其视线对准显示装置，在所述显示装置上显示可选的标题或者导航目标。于是可以使在与操作同步的（一个或多个）图像中的头部位置和（一个或多个）眼睛位置与绝对的视向相关，其中绝对视向由显示装置相对于（im Verhältn本文档来自技高网...

【技术保护点】
用于校准车辆中的用于识别绝对视向的摄像机（500）的方法，其中至少一个其他元件（100、200、300、400）与摄像机（500）以固定的空间几何关系被布置，其中所述校准借助于在摄像机（500）的图像中探测至少一个相对的视向改变进行，其中用户朝向所述其他元件（100、200、300、400）改变其视线，其特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的相对的视向改变。

【技术特征摘要】
2015.03.10 DE 102015204281.21.用于校准车辆中的用于识别绝对视向的摄像机（500）的方法，其中至少一个其他元件（100、200、300、400）与摄像机（500）以固定的空间几何关系被布置，其中所述校准借助于在摄像机（500）的图像中探测至少一个相对的视向改变进行，其中用户朝向所述其他元件（100、200、300、400）改变其视线，其特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的相对的视向改变。2.按照权利要求1所述的方法，其中所述方法包括在使用相对的视向改变和固定的空间几何关系的情况下测定绝对视向。3.按照权利要求2所述的方法，其中为了测定绝对视向，考虑来自带端校准的摄像机（500）的摄像机参数。4.按照权利要求2或3所述的方法，其中多个绝对视向被测定，所述多个绝对视向被考虑用于校准视向识别。5.按照权利要求2至4之一所述的方法，其中所述校准包括在由摄像机（500）记录的图像中确定头部位置和眼睛位置，和根据所确定的头部位置和确定的眼睛位置测定相对的视向改变。6.按照权利要求1至5之一所述的方法，其中所述其他元...

【专利技术属性】
技术研发人员：W尼姆，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE