用于相机校准的方法和装置制造方法及图纸

本发明专利技术涉及用于相机校准的方法和装置。从第一相机接收(300)第一图像，并且从第二相机接收(302)第二图像，其中第一图像和第二图像两者包括重叠。此外，在重叠中确定(304)第一图像的一个或多个候选点，并且在重叠中确定(306)第二图像的一个或多个候选点。此外，将第一图像的候选点与第二图像的候选点匹配(308)，并且确定对应候选点的配对。基于对应候选点配对计算(310)第一相机的单应性，并且基于对应候选点的配对计算第二相机的单应性。通过基于所计算(310)的第一相机的单应性调节第一相机的本征参数或非本征参数来校准(312)第一相机。通过基于所计算(310)的第二相机的单应性调节第二相机的本征参数或非本征参数来校准(312)第二相机。

【技术实现步骤摘要】
用于相机校准的方法和装置本申请是申请日为2016年5月20日、申请号为201680028176.5(PCT/EP2016/061445)的标题为“用于相机校准的方法和装置”的专利申请的分案申请。
本公开涉及相机装置，尤其是涉及一种执行立体相机装置中的相机的校准的方法。
技术介绍
随着数字相机技术的出现，已经流行使用相机用于多种目的。今天的相机不仅广泛用于照相而且也用于新的目的。利用相机进行公共区域或私有财产的监视已经变得流行。数字相机技术也适用于监控、导航等。计算机视觉是利用立体相机装置对场景进行成像的
在立体相机装置中使用两个相机以产生环境或场景的3D(三维)图像或模型。在立体相机装置中根据两个不同方向朝向场景校正两个相机，并且在相机之间存在一距离。通过在它们之间采用多个角度整流(rectifying)相机，可以确定至物体距离的信息。为了模仿人类视觉，相机之间合适的距离为5和10cm之间，这与人类左眼和右眼之间的距离相对应。将校准立体相机装置的相机以正确地操作。在校准相机时，将调节相机的本征参数，其中待调节的典型的本征参数是方向、焦点等。传统地，当制造立体相机装置时已经设置了为了立体目的的相机的本征参数。可替换地，可以结合相机的安装而手动地设置本征参数，并且当需要时将对其执行手动调节。然而，由于立体相机装置的量增多的事实，存在大量待调节其本征参数的相机。另外，已经开发了新的应用，并且立体相机装置还流行于用于其中物理条件要求本征参数的规律性调节的环境中。例如，车辆中的立体相机装置将通常受到振动的影响并且可能需要在运输期间调节以正确地操作。参照图1a-图1b，其为示意性说明图，现将根据一个示例描述立体相机装置。在图1a中，以透视图的方式图示了立体相机装置，并且在图1b中，从上方图示了立体相机装置。立体相机装置100包括第一相机102和第二相机104。第一相机102和第二相机104两者分别连接至控制单元106(图1b中未示出)。设置相机102、104被布置为捕获场景108的相应的图像。控制单元106被布置为校准相机102、104。当今应用了一些方法以用于立体相机的校准。这些已知的方法是非常复杂的并且要求相当大量计算性能或额外的参考。比如，Nedevschi等人展示了一种方法(用于车辆应用中的立体视觉系统的在线校准方法)，其中由两个相机捕获道路上的标记。Hansen等人展示了一种方法(在线连续立体非本征参数估算)，其中，确定一条基线。因此，存在的问题在于设计一种成本效益好的并且灵活的方法以用于立体相机装置中的相机的合适的校准。
技术实现思路
本申请的教导的目的在于：通过提供一种相对于第二相机校准第一相机的方法来克服以上所列出的问题。该方法包括从第一相机接收第一图像，并且从第二相机接收第二图像，其中，第一图像和第二图像两者包括重叠。此外，该方法包括确定重叠中的第一图像的一个或多个候选点，并且确定重叠中的第二图像的一个或多个候选点。此外，该方法包括将第一图像的候选点与第二图像的候选点匹配，并且确定对应候选点的配对。该方法还包括基于对应候选点的配对来计算第一相机的单应性，并且通过基于所计算的第一相机的单应性调节第一相机的本征参数或非本征参数来校准第一相机。该方法进一步包括基于对应候选点的配对计算第二相机的单应性，并且通过基于所计算的第二相机的单应性调节第二相机的本征参数或非本征参数来校准第二相机。可以利用诸如Harris算法之类的特征检测算法以用于检测候选点，例如转角或交叉点。本申请的教导的目的还在于：通过提供一种被布置为相对于彼此校准两个相机的立体相机装置来克服以上所列出的问题。立体相机装置包括第一相机、第二相机、和控制器，其中，控制器被适配为从第一相机接收第一图像，并且从第二相机接收第二图像，其中，在第一图像和第二图像两者中存在重叠，并且确定重叠中的第一图像的至少两个候选点。控制器进一步被适配为确定重叠中的第二图像的至少两个候选点，并且将第一图像的候选点与第二图像的候选点匹配并确定对应候选点的配对。此外，控制器被适配为基于对应候选点的配对计算第一相机的单应性，并且通过基于所计算的第一相机的单应性调节第一相机的本征参数或非本征参数来校准第一相机。控制器进一步被适配为基于对应候选点的配对计算第二相机的单应性，并且通过基于所计算的第二相机的单应性调节第二相机的本征参数或非本征参数来校准第二相机。本专利技术的专利技术人在创新性和富有洞察力的推理之后，实现了通过确定第一相机和第二相机的对应候选点，可以计算可以用于相对于彼此校准第一相机和第二相机的合适的单应性。由此，可以执行合适的校准而无需在环境中布置特定参考点。将根据以具体实施方式、根据所附权利要求、并且根据附图呈现所公开实施例的其他特征和优点。通常，权利要求中所使用的所有术语应该根据
中它们通常的含义而解释，除非本文明确另外限定。对于“一/该[元件、装置、部件、机构、步骤、等]”的引用应该开放地解释为涉及元件、装置、部件、机构、步骤等的至少一个实例，除非另外明确陈述。本文所公开的任意方法的步骤不必以所公开的确切顺序执行，除非明确规定。附图说明现在将以示例性实施例并参照附图的方式更详细地描述方案，其中：图1a至图1b是根据现有技术的装置的示意图。图2a至图2b是根据本文的教导的实施例的装置的示意图；图3是根据本文的教导的实施例的方法的流程图；图4a至图4c是根据本文的教导的实施例的校准单元的示意性方框图；以及图5是根据可能实施例的计算机程序产品的示意性方框图。具体实施方式现将在下文中将参照示出本专利技术的特定实施例的附图来更全面地描述所公开的实施例。然而，本专利技术可以以许多不同的形式来实施并不应构造为限定于本文所阐述的实施例；相反，以示例的方式提供的这些实施例将使得本公开全面和完整，并且向本领域技术人员完整地传达本专利技术的范围。相同的数字遍及全文涉及相同的元件。尽管本文所公开的实施例将聚焦于诸如巴士或任意其他运输车辆之类的车辆中的相机，本文的教导也适用于其他情形。所公开的方法和系统可以适用于可以校准立体相机装置的相机的任意情形。本文所公开的方法和系统不限于适用于任意特定类型的对象，例如乘客和动物。参照图2a和图2b(车辆中情形的示意性图示)，现在将根据一个示例性实施例描述关于车辆中的立体相机装置的校准的所提出方案的一些原理。图2a图示了在公共运输车辆(未涉及)中的四个站立的乘客200。在此示例性实施例中，公共运输车辆是巴士。车辆是高度特殊的环境，其对于被布置在其中的相机装置提出了极端的要求。被布置在车辆中的相机由于严苛的物理条件而会要求规律性的调节，并且因此校准过程必须被容易地执行。由于车辆(诸如例如巴士)中相机的盗窃风险和破坏行为，如果相机廉价并且不复杂，则这是有益的。图2b是采用两个不同相机204a、204b捕获两个图像的示意图。在此示意性示例中，从第一相机204a本文档来自技高网...

【技术保护点】
1.一种相对于彼此校准第一相机和第二相机的方法，所述方法包括：/n从所述第一相机接收第一图像；/n从所述第二相机接收第二图像，其中，所述第一图像和所述第二图像两者包括重叠；/n确定所述第一图像的在所述重叠中的一个或多个候选点；/n确定所述第二图像的在所述重叠中的一个或多个候选点；/n将所述第一图像的候选点与所述第二图像的候选点匹配并确定对应候选点的配对；/n基于所述对应候选点的配对来计算所述第一相机的单应性；/n基于所述对应候选点的配对来计算所述第二相机的单应性；/n基于所计算的所述第一相机的单应性调节所述第一相机的本征参数以相对于所述第二相机校准所述第一相机；/n基于所计算的所述第二相机的单应性调节所述第二相机的本征参数以相对于所述第一相机校准所述第二相机，其中所述第一相机的本征参数和所述第二相机的本征参数两者都被调节；/n基于所计算的所述第一相机的单应性调节所述第一相机的非本征参数以相对于所述第二相机校准所述第一相机；并且/n基于所计算的所述第二相机的单应性调节所述第二相机的非本征参数以相对于所述第一相机校准所述第二相机。/n

【技术特征摘要】
20150520 SE 1550637-11.一种相对于彼此校准第一相机和第二相机的方法，所述方法包括：
从所述第一相机接收第一图像；
从所述第二相机接收第二图像，其中，所述第一图像和所述第二图像两者包括重叠；
确定所述第一图像的在所述重叠中的一个或多个候选点；
确定所述第二图像的在所述重叠中的一个或多个候选点；
将所述第一图像的候选点与所述第二图像的候选点匹配并确定对应候选点的配对；
基于所述对应候选点的配对来计算所述第一相机的单应性；
基于所述对应候选点的配对来计算所述第二相机的单应性；
基于所计算的所述第一相机的单应性调节所述第一相机的本征参数以相对于所述第二相机校准所述第一相机；
基于所计算的所述第二相机的单应性调节所述第二相机的本征参数以相对于所述第一相机校准所述第二相机，其中所述第一相机的本征参数和所述第二相机的本征参数两者都被调节；
基于所计算的所述第一相机的单应性调节所述第一相机的非本征参数以相对于所述第二相机校准所述第一相机；并且
基于所计算的所述第二相机的单应性调节所述第二相机的非本征参数以相对于所述第一相机校准所述第二相机。


2.根据权利要求1所述的方法，其中，确定所述第一图像的在所述重叠中的一个或多个候选点包括对所述第一图像使用特征检测算法，并且其中，确定所述第二图像的在所述重叠中的一个或多个候选点包括对所述第二图像使用所述特征检测算法。


3.根据权利要求2所述的方法，其中，所述特征检测算法是转角检测算法。


4.根据权利要求1所述的方法，其中，匹配所述候选点包括对所确定的所述第一图像的候选点以及所确定的所述第二图像的候选点使用校正函数，并且当所述校正函数关于所述第一图像的候选点和所述第二图像的候选点被最大化时从所述第一图像和所述第二图像确定对应候选点的配对。


5.根据权利要求1所述的方法，其中，计算所述第一相机和所述第二相机中的至少一个的单应性包括对所确定的对应候选点的配对使用误差函数，并且当所述误差函数关于所确定的对应候选点的配对被最小化时确定所述单应性。


6.根据权利要求1所述的方法，其中，调节所述第一相机和所述第二相机中的至少一个的本征参数或非本征参数包括调节以下项中的任意项：相机朝向参数、焦距参数、偏斜系数参数、主点参数、旋转参数、以及平移参数。


7.根据权利要求1所述的方法，所述方法由被布置在立体相机装置中的控制器执行。


8.一种立体相机装置，用于相对于彼此校准两个相机，其中所述立体相机装置包括：
第一相机；
第二相机；以及
控制器，被适配为：
从所述第一相机接收第一图像，以及从所述第二相机接收第二图像，其中，在所述第一图像和所述第二图像两者中存在重叠；
确定所述第一图像的在所述重叠中的至少两个候选点；
确定所述第二图像的在所述重叠中的至少两个候选点；
将所述第一图像的候选点与所述第二图像的候选点匹配，并确定对应候选点的配对；
基于所述对应候选点的配对计算所述第一相机的单应性；
基于所述对应候选点的配对计算所述第二相机的单应性；
基于所计算的所...

【专利技术属性】
技术研发人员：R·贝蒂尔松，S·多夫纳，H·奥尔多，
申请(专利权)人：康戈尼迈蒂克斯公司，
类型：发明
国别省市：瑞典;SE