用于校准摄像头相对于校准图案的位置和取向的方法技术

用于校准摄像头相对于校准图案的位置和/或取向的方法，包括：A.借助于摄像头获取校准图案的图像；B.确定图像的至少一个参数和/或呈现在图像中的校准图案或校准图案的子图案的至少一个参数；C.基于所述至少一个参数转换图像；D.识别校准图案的转换后的图像内的校准图案的特征点或可能的特征点；E.根据所识别出的特征点或可能的特征点得出摄像头相对于校准图案的位置和/或取向；F.根据所得出的摄像头的位置和/或取向的置信度值和/或根据到目前为止步骤B到步骤F的迭代次数，重复步骤B到步骤F，其中在步骤B中，考虑所得出的摄像头的位置和/或取向来确定所述至少一个参数；G.输出在步骤E的最后一次迭代中得出的摄像头的位置和/或取向。

A Method for Calibrating the Position and Orientation of Camera relative to Calibration Patterns

【技术实现步骤摘要】
用于校准摄像头相对于校准图案的位置和取向的方法
本专利技术涉及一种用于校准摄像头(尤其是安装到诸如卡车的车辆的摄像头)相对于校准图案的位置和取向的方法。
技术介绍
近来，越来越多的车辆设置有至少一个安装到车辆上以用于捕获关于车辆环境的信息的摄像头。尤其是，摄像头位于车辆的前面以用于获取前方道路。这样获得的图像数据然后可以用于例如各种高级驾驶员辅助系统(ADAS)。从由这种摄像头获取的图像，可以提取关于摄像头视野内的物体的空间数据。但是，这些数据是相对于摄像头的，而不是(至少不直接是)相对于车辆的。因此，例如，摄像头所捕获的物体的位置只能相对于摄像头来确定。为了从由摄像头获取的图像中也获得这些物体相对于车辆的具有高精度和可靠性的位置，因此精确地知道摄像头相对于车辆的位置和取向是重要的。尤其是，相对于车辆以明确的取向放置摄像头是相当困难的。因此，摄像头几乎肯定会偏离理想的取向，实际取向因不同车辆中的不同摄像头而不同。摄像头的取向可以通过通常被称为滚转角、偏航角和俯仰角的三个角度来描述。滚转角指定绕纵轴的旋转角度，对于摄像头而言，该纵轴尤其对应于摄像头的光轴。因此，滚转角的旋转轴相对于摄像头限定并且因此，例如，如果摄像头倾斜或平移，则该旋转轴与摄像头一起改变其取向。偏航角指定绕垂直轴的旋转角度并且因此，至少基本上限定了从理想取向向左侧或向右侧的偏离。俯仰角指定绕水平轴的旋转角度并且因此，至少基本上限定了从理想取向向顶部或向底部的偏离。校准安装到车辆的摄像头的取向优选包括确定滚转角、偏航角和俯仰角中的至少一个。优选地，确定所有这三个角度以便完全描述摄像头的取向。确定这些角度通常可以在车辆移动期间进行，例如，在道路上行驶时。以这种方式，校准方法可以利用可以从由于在特定方向上的移动而连续获取的图像之间的差异得出的信息。但是，这种校准可能是耗时的并因此是昂贵的。因此，可以在静止车辆上执行的校准方法更可取。有一些校准方法取决于已知并且固定的摄像头的高度。但是，尤其是如果车辆是卡车，那么即使安装到车辆的规定位置，摄像头的高度也可能显著地改变。这可能是由于车辆的太柔软的悬挂，因此可能安装了摄像头的车辆驾驶室例如可以使其高度改变高达几十厘米。因此，优选地，校准方法不依赖于安装的摄像头的高度。优选地，摄像头的高度以及摄像头的横向偏移甚至可以作为校准的一部分来确定。例如，在专利申请EP3174007A1中描述了用于校准安装到车辆的摄像头的位置和/或取向的尤其可靠和快速的方法。这些方法依赖于将摄像头放置在校准图案(其图像借助于摄像头获取)的前面，以及根据由校准图案限定的可以在校准图案的图像内被识别的水平线和垂直线得出摄像头的位置和/或取向。尤其是，这些线可以由校准图案的特征点或校准图案的一个或更多个子图案的特征点限定。通常，其它方法可能可以允许直接根据校准图案的这些特征点来确定摄像头的位置和/或取向，即没有根据特征点得出水平线和垂直线的中间步骤。为了识别校准图案的图像内的校准图案的特征点，可以对图像进行预处理并且搜索可以对应于校准图案的特征点的光斑。例如，在专利申请EP3173975A1中描述了用于识别校准图案的图像内的校准图案的这种可能的特征点的方法。但是，通过这种或其它方法识别出的可能的特征点可能仍然包含误报。因此，可能的特征点可以仅被认为是一组候选点，其中仍然必须识别校准图案的真实的特征点。这样做的方法例如在EP3173979A1中有所描述。根据这些方法，简单地说，将对应于校准图案或校准图案的子图案的模板依次放置在每个候选点上并且检查模板所覆盖的图像的区域与模板的对应关系。如果与模板的偏离不超过特定的公差，则认为相应的候选点代表校准图案的特征点。但是，这种确定摄像头相对于校准图案的位置和/或取向的方法依赖于校准图案的图像，该校准图案的图像是借助于摄像头获取的，并且因此取决于图像的质量。尤其是，如果校准图案在图像中出现变形，则这可能导致错误的结果，因为即使校准图案的真实特征点也可能偏离其预期的外形，并且因此可能由于缺乏与模板的对应关系而不被认为是特征点。例如，尤其是在不利的照明条件下，校准图案的图像可能因噪声而劣化。虽然通常可以例如通过改进的照明来修正这些问题，但是由摄像头的细节所导致的变形可能是不可修正的，至少是不容易的。例如，对于安装到车辆，尤其是安装到卡车的摄像头，通常有利的是具有宽视野，例如通过使用具有焦距为50mm(等效)或更长的物镜的摄像头，因为这种广角摄像头允许监视比具有更窄视野的摄像头更大的区域。但是，广角光学器件导致所获取的图像变形。因此，如果使用这种摄像头，则校准图案的图像中的特征点的识别可能受到这种变形的阻碍。
技术实现思路
本专利技术的目的是提供一种用于校准摄像头(尤其是安装到诸如卡车的车辆的摄像头)相对于校准图案的位置和取向的具有高精度和改进的可靠性的方法，以防止变形的干扰影响。该目的通过根据权利要求1的方法解决。本专利技术的有利实施方式由从属权利要求以及本专利技术的以下描述和附图限定。根据本专利技术的方法包括执行至少以下步骤A至步骤G。步骤A包括借助于摄像头获取校准图案的图像。取决于例如摄像头的物镜的焦距，但也可能取决于视角(在该视角下，校准图案或至少部分校准图案从摄像头的视点出现)，校准图案在所获取的图像中可能出现变形。补偿这种变形的第一种措施是步骤B，该步骤B包括确定图像中的至少一个参数和/或出现在图像中的校准图案的或校准图案的子图案的至少一个参数。可以使用环境的额外知识来获得这样的参数，例如透视畸变或透镜畸变的知识或者摄像头与校准图案之间的预期或标称关系的知识，其确定在获取的图像中校准图案或校准图案的子图案的位置和/或在哪个视角下通过摄像头看到校准图案。但是，这些知识通常不够精确或不足以简单地在数学上修正所有变形，而可能更符合知情估计或甚至仅仅是假设。虽然如此，所述至少一个参数有利地允许至少近似地使校准(尤其是用于确定摄像头的位置和/或取向的特征点的识别)适应校准图案的图像中的可能的变形。下面描述要确定的参数的更具体示例以及如何使用这样的参数。步骤C包括基于在前一步骤B中确定的所述至少一个参数来转换所获取的图像。然后，在步骤D中，在校准图案的转换的图像内，识别出校准图案的特征点或至少可能的特征点。所述转换尤其用于准备用于更容易地提取相关信息的图像。这种转换尤其可以包括图像的一部分被隔离并且仅图像的该部分用于进一步处理和/或图像被平滑和/或以其它方式进行滤波，如下面更详细地说明的。步骤E包括在识别出特征点或可能的特征点之后，根据所识别出的特征点或可能的特征点得出摄像头相对于校准图案的位置和/或取向。步骤D和/或步骤E尤其可以根据上面指定的专利申请中描述的方法之一来执行。但是，与已知方法的重要区别在于，特征点或可能特征点的识别所基于的图像不是原始获取的图像，而是基于步骤B中所确定的至少一个参数而转换的图像。此外，在步骤E中得出摄像头相对于校准图案的位置和/或取向之后，根据本专利技术的方法不会停止，而是继续步骤F。步骤F包括在特定条件下重复步骤B至步骤F，其中，在即将进行的迭代的步骤B中，考虑在步骤E的当前迭代中得出的摄像头的位置和/或取向以用于新确定至少一个参数。换言之，在步骤E的当前迭代中得出的摄像头的位置本文档来自技高网...

【技术保护点】
1.一种用于校准摄像头相对于校准图案(13)的位置和/或取向的方法，所述摄像头尤其是安装到诸如卡车的车辆上的摄像头，所述方法包括以下步骤：A.借助于所述摄像头获取所述校准图案(13)的图像(11)；B.确定所述图像(13)的至少一个参数，和/或呈现在所述图像(11)中的所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个参数；C.基于所述至少一个参数转换所述图像(11)；D.识别所述校准图案(13)的转换后的图像内的所述校准图案(13)的特征点或可能特征点；E.根据所识别出的特征点或可能特征点得出所述摄像头相对于所述校准图案(13)的位置和/或取向；F.根据所得出的所述摄像头的位置和/或取向的置信度值和/或根据到目前为止步骤B到步骤F的迭代次数，重复步骤B到步骤F，其中，在步骤B中，考虑所得出的所述摄像头的位置和/或取向来确定所述至少一个参数；以及G.输出在步骤E的最后一次迭代中得出的所述摄像头的位置和/或取向。

【技术特征摘要】
2018.02.28 EP 18159313.81.一种用于校准摄像头相对于校准图案(13)的位置和/或取向的方法，所述摄像头尤其是安装到诸如卡车的车辆上的摄像头，所述方法包括以下步骤：A.借助于所述摄像头获取所述校准图案(13)的图像(11)；B.确定所述图像(13)的至少一个参数，和/或呈现在所述图像(11)中的所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个参数；C.基于所述至少一个参数转换所述图像(11)；D.识别所述校准图案(13)的转换后的图像内的所述校准图案(13)的特征点或可能特征点；E.根据所识别出的特征点或可能特征点得出所述摄像头相对于所述校准图案(13)的位置和/或取向；F.根据所得出的所述摄像头的位置和/或取向的置信度值和/或根据到目前为止步骤B到步骤F的迭代次数，重复步骤B到步骤F，其中，在步骤B中，考虑所得出的所述摄像头的位置和/或取向来确定所述至少一个参数；以及G.输出在步骤E的最后一次迭代中得出的所述摄像头的位置和/或取向。2.根据权利要求1所述的方法，其中，在步骤B中，确定所述图像(11)的至少一个参数的过程包括确定所述图像(11)内预期包括所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个关注区域(17、17')，并且其中，在步骤C中，转换所述图像(11)的过程包括将所述图像(11)限制到在步骤B中确定的所述至少一个关注区域(17、17')，以及向限制后的图像施加可能的进一步转换。3.根据权利要求1或2所述的方法，其中，在步骤B中，确定所述校准图案(13)或所述校准图案(13)的子图案(15、15')的至少一个参数的过程包括确定呈现在所述图像(11)中的所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状，并且其中，在步骤C中，转换所述图像(11)的过程包括基于所确定的所述校准图案(13)或所述子图案(15、15')的尺寸和/或形状来定义滤波器内核，以及使用所述滤波器内核对所述图像(11)进行滤波。4.根据前述权利要求中至少一项所述的方法，其中，在步骤C中，转换所述图像(11)的过程包括通过针对所述图像(11)的每个像素用该像素的邻近区域中的像素的像素值的平均值替换该像素的像素值来平滑所述图像(11)，所述像素的所述邻近区域是根据在步骤B中确定的所述至少一个参数来定义的。5.根据前述权利要求中至少一项所述的方法，其中，在步骤C中，转换所述图像(11)的过程包括利用根据在步骤B中确...

【专利技术属性】
技术研发人员：W·德沃拉科夫斯基，R·德鲁考兹，K·冈勒斯基，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：巴巴多斯,BB