多阶段相机校准制造技术

示例实施例涉及多阶段相机校准。示例实施例包括一种方法。该方法包括相对于相机定位校准目标。该方法还包括捕获校准目标的聚焦图像。另外，该方法包括确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置。此外，该方法包括调整相机的焦距。更进一步，该方法包括捕获校准目标的未聚焦图像。此外，该方法包括基于校准目标的校准点在校准目标的聚焦图像内的所述一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置。更进一步，该方法包括校正相机内的一个或多个光学像差。

【技术实现步骤摘要】
【国外来华专利技术】多阶段相机校准相关申请的交叉引用本申请要求于2018年6月4日向美国专利和商标局提交的美国专利申请第15/996,793号的优先权，其内容通过引用并入本文。
技术介绍
除非本文另外指出，否则本节中描述的材料不是本申请中的权利要求的现有技术，并且不由于包含在本节中而被承认是现有技术。光检测和测距(LIDAR)设备可以估计到给定环境中的对象的距离。例如，LIDAR系统的发射器子系统可以发射近红外光脉冲，这些近红外光脉冲可以与LIDAR系统的环境中的对象交互。光脉冲的至少一部分可以被重定向回LIDAR(例如，由于反射或散射)并由接收器子系统检测。常规的接收器子系统可以包括多个检测器和被配置为以高时间分辨率(例如，～400ps)确定相应光脉冲的到达时间的对应控制器。LIDAR系统与给定对象之间的距离可以基于与给定对象交互的对应光脉冲的飞行时间来确定。此外，相机可以被用于识别场景内的对象。但是，为了提高相机识别场景内的对象的精度，可以对相机进行校准。这种校准可以提供所捕获的图像的外观与物理场景的空间布局的相关性。另外，校准可以校正用于捕获图像的相机的制造和/或组装中的缺陷。例如，如果相机的孔径相对于相机的图像传感器偏离中心，那么校准可以对此进行校正(例如，使用对捕获的图像提供校正以使图像更准确地反映物理场景的处理器)。校准相机的一种方法包括应用针孔相机模型。针孔相机模型假设进行校准的相机是理想的针孔相机(即，没有透镜和点状孔径的相机)。使用针孔相机模型近似，可以将物理场景的坐标(例如，在三维中)映射到二维平面上的投影，其中在二维平面上的投影由捕获的校准图像表示。可以基于校准图像确定理论针孔相机中的针孔孔径的位置。还可以确定理论针孔相机的其它参数(例如，焦距)。确定针孔孔径的位置并对其进行解释可以包括基于一个或多个校准图像来计算相机矩阵的一个或多个元素。可以采用其它校准方法来校正光学设计中固有的或由于制造/组装而引起的其它缺陷。例如，可以基于捕获的校准图像来计算一个或多个失真系数。失真系数可以用于解释由于相机中的透镜引起的光学不均匀性(例如，桶形失真、胡须失真、枕形失真等)。此外，可以解释其它光学像差(例如，散焦、倾斜、球面像差、像散、彗形像差、色差等)。OpenCV函数库包含可以被用于校准相机(例如，用在计算机视觉应用中的相机)的多个命令。
技术实现思路
本公开涉及用于多阶段相机校准的方法和系统。在一些实施例中，使用多级相机校准进行校准的相机还可以被用于校准其它设备(例如，一个或多个LIDAR设备或雷达设备)。多阶段相机校准可以包括将校准目标设定在相对于相机的给定距离处、将相机聚焦在校准目标上，并且然后使用相机捕获校准目标的第一图像。接下来，多阶段相机校准可以包括将相机聚焦在距相机比校准目标更大距离处的感兴趣对象上。照此，校准目标可能不再焦点对准(infocus)。然后，可以由相机捕获校准目标的第二图像。校准目标的两个图像(校准目标焦点对准的第一图像和校准目标离焦的第二图像)都可以被传输到计算设备。使用角点检测算法，计算设备可以识别使校准目标焦点对准的第一图像中的校准点的一个或多个位置。另外，使用角点细化算法并且基于在焦点对准的校准目标的图像中识别出的校准点的一个或多个位置，计算设备可以确定校准点在使校准目标离焦的第二图像中的一个或多个位置。基于校准点在第二图像中的一个或多个位置，计算设备可以确定相机的图像传感器和/或透镜中的一个或多个不完美。这些确定的不完美可以在相机捕获的未来图像(例如，由相机捕获的感兴趣对象焦点对准的未来图像)中得到解释。在一方面，提供了一种方法。该方法包括相对于相机定位校准目标，使得校准目标和相机之间的间隔与相机的焦距对应。该方法还包括由相机捕获校准目标的聚焦图像。另外，该方法包括确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置。此外，该方法包括调整相机的焦距，使得相机的经调整的焦距大于校准目标和相机之间的间隔。更进一步，该方法包括由相机捕获校准目标的未聚焦图像。此外，该方法包括基于校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置。更进一步，该方法包括基于校准目标的校准点的一个或多个细化的位置来校正相机内的一个或多个光学像差。在另一方面，提供了一种非暂态计算机可读介质。该非暂态计算机可读介质上存储有指令，其中指令由处理器执行时使处理器执行功能，所述功能包括接收相对于相机定位的校准目标的聚焦图像，使得校准目标和相机之间的间隔与相机的焦距对应。由相机捕获校准目标的聚焦图像。功能还包括确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置。另外，功能包括接收校准目标的未聚焦图像。校准目标的未聚焦图像由相机以经调整的焦距捕获。相机的经调整的焦距大于校准目标和相机之间的间隔。此外，功能包括基于校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置。更进一步，功能包括基于校准目标的校准点的一个或多个细化的位置来校正相机内的一个或多个光学像差。在附加方面，提供了一种系统。该系统包括校准目标。该系统还包括相对于校准目标定位的相机，使得校准目标和相机之间的间隔与相机的焦距对应。相机被配置为捕获校准目标的聚焦图像。相机还被配置为捕获校准目标的未聚焦图像。校准目标的未聚焦图像由相机以经调整的焦距捕获。相机的经调整的焦距大于校准目标和相机之间的间隔。另外，该系统包括计算设备。计算设备被配置为接收校准目标的聚焦图像和校准目标的未聚焦图像。计算设备还被配置为确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置。另外，计算设备被配置为基于校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置。此外，计算设备被配置为基于校准目标的校准点的一个或多个细化的位置来校正相机内的一个或多个光学像差。在还有一方面，提供了一种系统。该系统包括用于相对于相机定位校准目标的装置，使得校准目标和相机之间的间隔与相机的焦距对应。该系统还包括用于由相机捕获校准目标的聚焦图像的装置。另外，该系统包括用于确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置的装置。此外，该系统包括用于调整相机的焦距的装置，使得相机的经调整的焦距大于校准目标和相机之间的间隔。更进一步，该系统包括用于由相机捕获校准目标的未聚焦图像的装置。此外，该系统包括用于基于校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置的装置。更进一步，该系统包括用于基于校准目标的校准点的一个或多个细化的位置来校正相机内的一个或多个光学像差的装置。通过适当地参考附图阅读以下详细描述，这些以及其它方面、优点和替代方案对于本领域普通技术人员将变得显而易见。附图说明图1A是根据示例实施例的系统的图示。图1B是根本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n相对于相机定位校准目标，使得校准目标和相机之间的间隔与相机的焦距对应；/n由相机捕获校准目标的聚焦图像；/n确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置；/n调整相机的焦距，使得相机的经调整的焦距大于校准目标和相机之间的间隔；/n由相机捕获校准目标的未聚焦图像；/n基于校准目标的校准点在校准目标的聚焦图像内的所述一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置；以及/n基于校准目标的校准点的所述一个或多个细化的位置来校正相机内的一个或多个光学像差。/n

【技术特征摘要】
【国外来华专利技术】20180604 US 15/996,7931.一种方法，包括：
相对于相机定位校准目标，使得校准目标和相机之间的间隔与相机的焦距对应；
由相机捕获校准目标的聚焦图像；
确定校准目标的校准点在校准目标的聚焦图像内的一个或多个近似位置；
调整相机的焦距，使得相机的经调整的焦距大于校准目标和相机之间的间隔；
由相机捕获校准目标的未聚焦图像；
基于校准目标的校准点在校准目标的聚焦图像内的所述一个或多个近似位置来确定校准目标的校准点在校准目标的未聚焦图像内的一个或多个细化的位置；以及
基于校准目标的校准点的所述一个或多个细化的位置来校正相机内的一个或多个光学像差。


2.如权利要求1所述的方法，其中，校正相机内的所述一个或多个光学像差包括调整或改变相机的一个或多个光学元件。


3.如权利要求1所述的方法，还包括：
在校正相机内的一个或多个光学像差之后，捕获用于校准光检测和测距(LIDAR)系统的校准图像，其中，LIDAR系统包括发送器和接收器；以及
基于用于LIDAR系统的校准图像来调整LIDAR系统的发送器或接收器中的至少一个的位置或朝向。


4.如权利要求1所述的方法，其中，校准目标的校准点在校准目标的聚焦图像内的所述一个或多个近似位置中的每个近似位置包括校准目标的聚焦图像内的水平整数像素位置和垂直整数像素位置。


5.如权利要求1所述的方法，其中，校准目标的校准点在校准目标的未聚焦图像内的所述一个或多个细化的位置中的每个细化的位置包括校准目标的未聚焦图像内的水平子像素位置和垂直子像素位置。


6.如权利要求1所述的方法，其中，相机内的所述一个或多个光学像差包括筒形失真、枕形失真、胡须失真、彗形像差、倾斜、像散或球面像差中的至少一种。


7.如权利要求1所述的方法，
其中，校准目标按面积占据校准目标的聚焦图像的至少约50％，以及
其中，校准目标按面积占据校准目标的未聚焦图像的至少约50％。


8.如权利要求1所述的方法，其中，校正相机内的所述一个或多个光学像差包括基于针孔相机模型来估计与相机对应的相机矩阵的一个或多个参数。


9.如权利要求1所述的方法，其中，相对于相机定位校准目标包括使相机自动聚焦，以便修改相机的焦距，使得相机的焦距与校准目标和相机之间的间隔匹配。


10.如权利要求1所述的方法，其中，使用角点检测算法来确定校准目标的校准点在校准目标的聚焦图像内的近似位置。


11.如权利要求1所述的方法，其中，基于对校准目标的聚焦图像内的一个或多个位置的人在回路选择来确定校准目标的校准点在校准目标的聚焦图像内的近似位置。


12.如权利要求1所述的方法，其中，校正相机内的所述一个或多个光学像差包括对由相机捕获的一个或多个图像执行图像处理，以解释所述一个或多个光学像差。


13.如权利要求12所述的方法，其中，对由相机捕获的所述一个或多个图像执行图像处理以解释所述一个或多个光学像差包括：
基于校准点的所述一个或多个细化的位置来估计与校准目标的未聚焦图像内的直线投影的偏差；以及
修改由相机捕获的所述一个或多个图像，以解释与直线投影的偏差。


14.如权利要求1所述的方法，其中，使用以下中的至少一项来确定校准目标的校准点在校准目标的聚焦图像内的所述一个或多个近似位置：
Moravec角点检测算法、Harris和Stephens角点检测算法、Plessey角点检测算法、Shi-Tomasi角点检测算法、角点检测算法、多尺度Harris算子、Wang和Br...

【专利技术属性】
技术研发人员：G肖坦，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：美国;US