用于全景可视系统中的自动校准的方法技术方案

本发明专利技术提供用于全景可视系统中的自动校准的方法和装置。实施例设想一种校准车辆的多个图像捕捉设备的方法。提供具有不同位姿的多个图像捕捉设备。将多个图像捕捉设备中的至少一个识别为参考设备。利用多个图像捕捉设备捕捉车辆外部的图形显示的图像。车辆横穿图形显示以在各个时间阶段捕捉图像。处理器识别由多个图像捕捉设备和参考设备捕捉的每个图像之间的图形显示的公共地标。使用所识别的公共地标拼接由多个图像捕捉设备中的每个捕捉的图形显示的图像。基于拼接后的图像，相对于参考设备调节每个图像捕捉设备的外参数，用于校准多个图像捕捉设备。

【技术实现步骤摘要】

实施例涉及车辆成像系统。
技术介绍
基于视觉的成像系统使用图像捕捉设备来检测用于各种车辆应用的外部对象，包 括碰撞避免系统、自动巡航控制以及停车辅助。如果正在使用超过一个摄像头，那么在每个 图像捕捉设备之间必须应用摄像头校准。不仅必须在彼此之间校准成像设备，而且必须相 对于车辆轮廓或位姿校准摄像头。结果，必须补偿在图像捕捉设备之间的交叠区域中的不 对准、图像拼接以及距离估算功能。
技术实现思路
实施例的优点在于校准可以在服务站车库或装配线上使用的全景可视系统的多 个摄像头。本文所描述的技术通过捕捉图形显示的图像、识别公共地标以及将公共地标与 由参考摄像头捕捉的参考图像相关联，来提供用于自主地更新和校正摄像头校准参数的低 成本方法。本文所描述的技术降低了在必须制作或购买校准每个摄像头所需要的专用或复 杂工具方面的复杂性。 实施例设想一种校准车辆的多个图像捕捉设备的方法。提供具有不同位姿的多个 图像捕捉设备。将多个图像捕捉设备中的至少一个识别为参考设备。利用多个图像捕捉设 备捕捉车辆外部的图形显示的图像。图形显示包括已知位置的多个地标。每个图像捕捉设 备捕捉图形显示的至少一部分。车辆横穿图形显示以在各个时间阶段由多个图像捕捉设备 捕捉图像。处理器识别由多个图像捕捉设备和参考设备捕捉的每个图像之间的图形显示的 公共地标。使用所识别的公共地标拼接由多个图像捕捉设备中的每个捕捉的图形显示的图 像。基于拼接后的图像，相对于参考设备调节每个图像捕捉设备的外参数，用于校准多个图 像捕捉设备。 1. -种校准车辆的多个图像捕捉设备的方法，所述方法包括以下步骤： 提供具有不同位姿的多个图像捕捉设备，将所述多个图像捕捉设备中的至少一个识别 为参考设备； 利用所述多个图像捕捉设备捕捉所述车辆外部的图形显示的图像，所述图形显示包括 已知位置的多个地标，每个图像捕捉设备捕捉所述图形显示的至少一部分； 使所述车辆横穿所述图形显示，以在各个时间阶段由所述多个图像捕捉设备捕捉图 像； 利用处理器在由所述多个图像捕捉设备和所述参考设备捕捉的每个图像之间识别所 述图形显示的公共地标； 使用所识别的公共地标拼接由所述多个图像捕捉设备中的每个捕捉的图形显示的图 像；以及 基于所拼接的图像相对于所述参考设备调节每个图像捕捉设备的外参数，用于校准所 述多个图像捕捉设备。 2.如方案1所述的方法，其中调节所述外参数包括调节所述图像捕捉设备的旋 转。 3.如方案1所述的方法，其中使所述车辆横穿所述图形显示包括使所述车辆横 穿棋盘图形，所述棋盘图形代表网格。 4.如方案1所述的方法，其中识别所述图形显示的公共地标包括在由所述多个 图像捕捉设备和所述参考设备捕捉的图像之间识别所述图形显示内的对应性。 5.如方案4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形 显示的外边界的角部。 6.如方案4所述的方法，其中识别所述图形显示内的对应性包括识别在所捕捉 的图像的每个之间将所述图形显示内的图形区分开的公共边缘。 7.如方案4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形 显示内的由公共交叉边缘产生的公共点。 8.如方案1所述的方法，其中拼接所述图形显示的图像包括将由所述多个图像 捕捉设备和所述参考设备捕捉的图像中的每个之间的网格的对应公共地标对准。 9.如方案8所述的方法，其中将来自所述多个图像捕捉设备的每个捕捉图像重 新定向，以将由所述参考设备捕捉的图像的对应公共地标对准。 10.如方案9所述的方法，其中基于用于将所述对应公共地标对准的所述图像的 重新定向，来确定每个图像捕捉设备的轨迹。 11.如方案1所述的方法，其中调节所述外参数包括基于将多个捕捉图像对准的 所确定的轨迹来调节所述图像捕捉设备的旋转。 12.如方案11所述的方法，其中使所述每个图像捕捉设备从初始位姿旋转以将 每个捕捉图像对准，其中基于在至少两个时间阶段由相应图像捕捉设备捕捉的图像，从所 拼接的网格地图确定每个所捕捉图像设备的初始位姿。 13.如方案12所述的方法，其中对于相应图像捕捉设备确定初始位姿包括下面 的步骤： 在第一时间阶段和第二时间阶段捕捉网格； 基于在所述第一时间阶段捕捉的网格的观察，来确定在第一时间阶段的所述相应图像 捕捉设备的第一位姿，其中所述相应图像捕捉设备的第一位姿由在所述第一时间阶段的第 一旋转参数和第一平移参数限定； 计算在所述第一时间阶段和所述第二时间阶段之间的所述第一位姿的变化； 基于在所述第一时间阶段和所述第二时间阶段之间的所述位姿的变化，来确定在所述 第二时间阶段的第二位姿； 基于所确定的第一和第二摄像头位姿，通过将在所述第一时间阶段捕捉的网格与在所 述第二时间阶段捕捉的网格拼接，来生成增强的网格；以及 在地面坐标框架中更新增强后的网格。 14.如方案13所述的方法，其中确定所述初始位姿是针对所述多个图像捕捉设 备中的每个来确定。 15.如方案14所述的方法，其中相对于所述参考设备调节每个图像捕捉设备的 外参数基于作为所确定的每个图像捕捉设备的初始位姿的函数的拼接图像。 16.如方案13所述的方法，其中利用卡尔曼滤波器精炼在所述第二时间阶段确 定的所述第二位姿。 17.如方案13所述的方法，其中计算在所述第一时间阶段和所述第二时间阶段 之间的位姿的差异是基于确定在所述第二时间阶段的所述第一旋转参数与第二旋转参数 之间的差异、以及在所述第二时间阶段的所述第一平移参数与第二平移参数之间的差异。 18.如方案17所述的方法，其中每个图像捕捉设备位姿由旋转矩阵和平移矩阵 表不。 19.如方案18所述的方法，其中使用相应相对位姿来确定所述图像捕捉设备位 姿，其中相应相对位姿是非旋转矩阵，并且其中根据所述相应相对位姿使用归一化处理来 找到最接近旋转矩阵。 20.如方案19所述的方法，其中通过如由下面的公式表示的那样将Frobenius矩 阵范数最小化，而根据所述非旋转矩阵确定最接近旋转矩阵：其中茨表示非旋转矩阵并且R表示非旋转矩阵。 21.如方案20所述的方法，其中根据下面等式来优化所述旋转矩阵的确定： 其中:?和V是1的右奇异向量和左奇异向量，:F是相应时间值，并且 ，其中是奇异值的对角矩阵。【附图说明】 图1图示了用于碰撞避免或对象检测系统的对象检测系统的方框图。 图2为横穿图形显示的车辆的示例图。 图3a_图3d表不由图像捕捉设备捕捉的图形显不的相应图像。 图4为如果图像由相应图像捕捉设备捕捉时的对准。 图5为图示随着时间的经过的每个摄像头位姿的时间积分的方法的流程图。 图6为在不同的时间阶段由各自的时间捕捉的两个图像的拼接网格地图。【具体实施方式】 图1图示了用于碰撞避免或对象检测系统的对象检测系统的方框图。车辆10包 括向前图像捕捉设备12、向左图像捕捉设备14、向右图像捕捉设备16以及向后图像捕捉设 备18。在下文中每个图像捕捉设备将称为摄像头，然而，应该理解图像捕捉设备不限于摄像 头。每个摄像头捕捉车辆外部的区域，其被提供给车辆处理器20。处理器20使用用于检测 车辆外部的对象的捕捉图像来确定它们与车辆10的靠近度。对象的检测可以由各种车辆 应用使用，各种车辆应用包括但不限于碰撞警报、自动循环控制以及本文档来自技高网...

【技术保护点】
一种校准车辆的多个图像捕捉设备的方法，所述方法包括以下步骤：提供具有不同位姿的多个图像捕捉设备，将所述多个图像捕捉设备中的至少一个识别为参考设备；利用所述多个图像捕捉设备捕捉所述车辆外部的图形显示的图像，所述图形显示包括已知位置的多个地标，每个图像捕捉设备捕捉所述图形显示的至少一部分；使所述车辆横穿所述图形显示，以在各个时间阶段由所述多个图像捕捉设备捕捉图像；利用处理器在由所述多个图像捕捉设备和所述参考设备捕捉的每个图像之间识别所述图形显示的公共地标；使用所识别的公共地标拼接由所述多个图像捕捉设备中的每个捕捉的图形显示的图像；以及基于所拼接的图像相对于所述参考设备调节每个图像捕捉设备的外参数，用于校准所述多个图像捕捉设备。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S曾，W张，J王，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US