多摄像头外参标定方法、装置、存储介质及电子设备制造方法及图纸

公开了一种多摄像头外参标定方法、装置、存储介质及电子设备，该方法包括：获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；分别对多帧环境图像进行预定类型物体的检测，得到多帧环境图像各自对应的初始检测信息；将各初始检测信息映射至可移动设备对应的预设坐标系下，得对应的转换检测信息；基于多个摄像头的空间布局，将多个摄像头划分为至少一个摄像头组；针对每个摄像头组，基于其包括的各个摄像头各自对应的转换检测信息，构建预定类型物体的跨图像匹配信息；基于各跨图像匹配信息，对多个摄像头进行外参标定。本公开实施例能够自动实时可靠地对多个摄像头进行外参标定，从而保证自动驾驶相关的任务的执行效果。任务的执行效果。任务的执行效果。

【技术实现步骤摘要】
多摄像头外参标定方法、装置、存储介质及电子设备


[0001]本公开涉及机器视觉技术，尤其是一种多摄像头外参标定方法、装置、存储介质及电子设备。

技术介绍

[0002]车辆等可移动设备上往往会设置多个摄像头，一般而言，安装位置活动、震动、胎压变化、碰撞等因素均会造成摄像头位置的微小变化，从而导致摄像头外参的变化。

技术实现思路

[0003]为了在可移动设备的移动过程中，对多个摄像头进行外参标定，提出了本公开。本公开的实施例提供了一种多摄像头外参标定方法、装置、存储介质及电子设备。
[0004]根据本公开实施例的一个方面，提供了一种多摄像头外参标定方法，包括：
[0005]获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
[0006]分别对所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
[0007]将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
[0008]基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
[0009]针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
[0010]基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。
[0011]根据本公开实施例的另一个方面，提供了一种多摄像头外参标定装置，包括：
[0012]获取模块，用于获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；
[0013]检测模块，用于分别对所述获取模块获取的所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；
[0014]映射模块，用于将所述检测模块得到的所述多帧环境图像各自对应的所述初始检测信息均映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；
[0015]第一确定模块，用于基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；
[0016]构建模块，用于针对所述第一确定模块确定的所述至少一个摄像头组中的每个摄像头组，基于所述映射模块得到的该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；
[0017]第一标定模块，用于基于所述构建模块构建的所述至少一个摄像头组各自对应的
所述跨图像匹配信息，对所述多个摄像头进行外参标定。
[0018]根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述多摄像头外参标定方法。
[0019]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0020]处理器；
[0021]用于存储所述处理器可执行指令的存储器；
[0022]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述多摄像头外参标定方法。
[0023]根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述多摄像头外参标定方法。
[0024]基于本公开上述实施例提供的多摄像头外参标定方法、装置、存储介质及电子设备，通过设置于可移动设备不同方位的多个摄像头，可以采集多视角图像数据(其包括不同视角的多帧环境图像)，通过对多视角图像数据进行预定类型物体的检测和对检测结果进行坐标系转换，可以得到同在预设坐标系下的多个转换检测信息，另外，参考多个摄像头的空间布局，可以将多个摄像头划分为至少一个摄像头组，再结合同在预设坐标系下的多个转换检测信息的运用，可以将位于不同环境图像中的相同预定类型物体进行匹配，以将得到的跨图像匹配信息用于多个摄像头的外参标定。这样，本公开的实施例中，在可移动设备的移动过程中，通过参考多视角图像数据承载的信息，在预设坐标系进行信息的跨图像匹配，能够自动实时可靠地对多个摄像头进行外参标定，从而保证自动驾驶相关的任务的执行效果。
[0025]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0026]图1是本公开所适用的场景示意图。
[0027]图2是本公开一示例性实施例提供的多摄像头外参标定方法的流程示意图。
[0028]图3是本公开一示例性实施例中车道线的示意图。
[0029]图4是本公开一示例性实施例中确定跨图像匹配信息的方式的流程示意图。
[0030]图5是本公开一示例性实施例中确定点线匹配对的方式的原理图。
[0031]图6是本公开一示例性实施例中对多个摄像头各自的初始外参进行修正的方式的流程示意图。
[0032]图7是本公开一示例性实施例中对多帧环境图像各自对应的转换检测信息进行时间同步的方式的流程示意图。
[0033]图8是本公开另一示例性实施例中对多帧环境图像各自对应的转换检测信息进行时间同步的方式的流程示意图。
[0034]图9是本公开一示例性实施例中确定多个摄像头各自的目标外参的方式的流程示意图。
[0035]图10是本公开一示例性实施例中确定修正外参数据是否符合数据特征的方式的流程示意图。
[0036]图11是本公开一示例性实施例中对多个摄像头各自的初始外参进行更新的方式
的流程示意图。
[0037]图12是本公开另一示例性实施例提供的多摄像头外参标定方法的流程示意图。
[0038]图13是本公开一示例性实施例提供的多摄像头外参标定装置的结构示意图。
[0039]图14是本公开一示例性实施例中构建模块的结构示意图。
[0040]图15是本公开一示例性实施例中映射模块和第一标定模块的结构示意图。
[0041]图16是本公开一示例性实施例中多帧环境图像各自对应的转换检测信息进行时间同步涉及的模块的示意图。
[0042]图17是本公开一示例性实施例中时间同步模块的结构示意图。
[0043]图18是本公开一示例性实施例中确定多个摄像头各自的目标外参涉及的模块的示意图。
[0044]图19是本公开一示例性实施例中确定修正外参数据是否符合数据特征涉及的模块的示意图。
[0045]图20是本公开一示例性实施例中对多个摄像头各自的初始外参进行更新涉及的模块的示意图。
[0046]图21是本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
[0047]为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
[0048]应注意到：除非另外具体说明，否则在这些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多摄像头外参标定方法，包括：获取设置于可移动设备不同方位的多个摄像头采集的不同视角的多帧环境图像；分别对所述多帧环境图像进行预定类型物体的检测，得到所述多帧环境图像各自对应的初始检测信息；将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，得到所述多帧环境图像各自对应的转换检测信息；基于所述多个摄像头的空间布局，将所述多个摄像头划分为至少一个摄像头组；针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息；基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定。2.根据权利要求1所述的方法，其中，每个摄像头组中的摄像头数量为两个；所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息，包括：基于第一摄像头组中的一个摄像头所对应的所述转换检测信息，确定所述预设坐标系下表示一预定类型物体的第一点集，所述第一摄像头组为所述至少一个摄像头组中的任一摄像头组；基于所述第一摄像头组中的另一个摄像头所对应的所述转换检测信息，确定所述预设坐标系下与所述第一点集表示相同预定类型物体的第二点集；从所述第一点集中确定采样点；在所述第二点集中搜索与所述采样点满足预设距离关系的两个点；确定用于连接所述两个点的直线；构建包括所述采样点与所述直线的点线匹配对；基于所述点线匹配对，确定所述第一摄像头组所对应的跨图像匹配信息。3.根据权利要求2所述的方法，其中，所述将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下，包括：利用所述多个摄像头各自的初始外参，将所述多帧环境图像各自对应的所述初始检测信息映射至所述可移动设备对应的预设坐标系下；每个所述跨图像匹配信息包括：多个所述点线匹配对，所述基于所述至少一个摄像头组各自对应的所述跨图像匹配信息，对所述多个摄像头进行外参标定，包括：针对所述至少一个摄像头组各自对应的所述跨图像匹配信息中的每个所述点线匹配度，计算该点线匹配度中的所述采样点与所述直线之间的距离；基于所述至少一个摄像头组各自对应的所述跨图像匹配信息中的每个所述点线匹配度各自对应的所述距离，计算距离总和；以最小化所述距离总和作为修正目标，对所述多个摄像头各自对应的所述初始外参进行修正，得到所述多个摄像头各自的修正外参以作为所述多个摄像头的外参标定结果。4.根据权利要求1所述的方法，其中，所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像
头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息之前，所述方法还包括：确定所述可移动设备在所述多帧环境图像各自的采集时间点的设备位姿矩阵；基于所述多帧环境图像各自对应的所述设备位姿矩阵，对所述多帧环境图像各自对应的所述转换检测信息进行时间同步；所述针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的所述转换检测信息，构建预定类型物体的跨图像匹配信息，包括：针对所述至少一个摄像头组中的每个摄像头组，基于该摄像头组包括的各个摄像头各自对应的经时间同步后的所述转换检测信息，构建预定类型物体的跨图像匹配信息。5.根据权利要求4所述的方法，其中，所述基于所述多帧环...

【专利技术属性】
技术研发人员：张欣，赵泽洋，杨德刚，徐斌峰，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：