多深度相机的标定方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种多深度相机的标定方法、装置、设备及存储介质，属于相机标定领域。该方法包括：构建目标环境对应的目标环境点云；基于各个待标定深度相机在目标环境中采集到的图像，构建各个待标定深度相机对应的待配准环境点云；对待配准环境点云和目标环境点云进行点云配准，得到各个待标定深度相机对应的目标变换矩阵，目标变换矩阵用于表示从待配准环境点云变换至目标环境点云的变换方式；基于各个待标定深度相机对应的目标变换矩阵，对各个待标定深度相机进行标定。本申请实施例中，无需使用标定物和标准人体模型，简化了标定流程；且保证标定时参考对象的一致性，提高了标定准确性。

【技术实现步骤摘要】
多深度相机的标定方法、装置、设备及存储介质
本申请实施例涉及相机标定领域，特别涉及一种多深度相机的标定方法、装置、设备及存储介质。
技术介绍
深度相机作为一种能够同时获取到环境色彩以及深度信息的相机，被广泛应用于三维环境建模等领域。在多深度相机的应用场景下，由于不同深度相机所处位置不同，且各自的相机姿态存在差异，因此需要对不同深度相机的外参进行标定，确定不同深度相机之间的位姿关系。相关技术中，对多深度相机进行标定时，需要借助环境中设置的标定物以及标准人体模型。
技术实现思路
本申请实施例提供了一种多深度相机的标定方法、装置、设备及存储介质。所述技术方案如下：一方面，本申请实施例提供了一种多深度相机的标定方法，所述方法包括：构建目标环境对应的目标环境点云；基于各个待标定深度相机在所述目标环境中采集到的图像，构建各个所述待标定深度相机对应的待配准环境点云；对所述待配准环境点云和所述目标环境点云进行点云配准，得到各个所述待标定深度相机对应的目标变换矩阵，所述目标变换矩阵用于表示从所述待配准环境点云变换至所述目标环境点云的变换方式；基于各个所述待标定深度相机对应的所述目标变换矩阵，对各个所述待标定深度相机进行标定。另一方面，本申请实施例提供了一种多深度相机的标定装置，所述装置包括：第一构建模块，用于构建目标环境对应的目标环境点云；第二构建模块，用于基于各个待标定深度相机在所述目标环境中采集到的图像，构建各个所述待标定深度相机对应的待配准环境点云；配准模块，用于对所述待配准环境点云和所述目标环境点云进行点云配准，得到各个所述待标定深度相机对应的目标变换矩阵，所述目标变换矩阵用于表示从所述待配准环境点云变换至所述目标环境点云的变换方式；标定模块，用于基于各个所述待标定深度相机对应的所述目标变换矩阵，对各个所述待标定深度相机进行标定。另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的多深度相机的标定方法。另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上述方面所述的多深度相机的标定方法。另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的多深度相机的标定方法。本申请实施例中，通过构建目标环境对应的目标环境点云，并基于待标定深度相机在目标环境中采集到的图像构建待配准环境点云，从而以目标环境点云为基准，对待配准环境点云和目标环境点云进行点云配准，得到从待配准点云变换至目标环境点云所采用的目标变换矩阵，进而基于各个待标定深度相机各自对应的目标变换矩阵，实现多深度相机的标定；整个标定过程中，无需使用深度相机以外的标定物和标准人体模型，简化了相机标定流程并扩大了相机标定的适用场景；同时，不同待标定深度相机均以目标环境点云为基准进行标定，保证了标定时参考对象的一致性，提高了标定准确性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请一个示例性实施例提供的实施环境的示意图；图2示出了本申请一个示例性实施例提供的多深度相机的标定方法的流程图；图3是本申请一个示例性实施例示出的多深度相机标定过程的实施示意图；图4是本申请一个示例性实施例示出的目标环境点云构建过程的流程图；图5是相机坐标系与像素坐标系中坐标点之间转换关系的示意图；图6是相邻两帧彩色图像中匹配特征点投射至世界坐标系过程的示意图；图7是本申请一个示例性实施例示出的点云配准过程的流程图；图8是本申请一个示例性实施例示出的第二配准过程的实施示意图；图9示出了本申请一个实施例提供的多深度相机的标定装置的结构框图；图10示出了本申请一个示例性实施例提供的计算机设备的结构方框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。为了方便理解，下面对本申请实施例中涉及的名词进行说明。点云(PointCloud)：通过测量仪器采集得到的物体外观表面的点数据集合被称为点云，其中，点数据包含坐标信息和颜色信息。本申请实施例中的点云基于深度相机采集到的彩色图像和深度图像构建得到。本申请实施例中，构建的点云包括目标环境点云和待配准环境点云，其中，目标环境点云为目标环境的全量点云，而待配准环境点云则是目标环境的局部点云，即待配准环境点云为目标环境点云的子集。点云配准：对源点云进行旋转平移变换，使源点云变换到与目标点云相同坐标系的过程被称为点云配准，相应的，旋转平移变换过程中采用的矩阵即为变换矩阵。内参(cameraintrinsics)矩阵：用于对相机坐标系下坐标点与像素坐标系下坐标点进行转换的矩阵被称为内参矩阵，表示为其中，fx和fy为焦距参数，cx和cy为主点偏移。通常情况下，内参矩阵通过离线标定，且标定后不会发生变化。外参(cameraextrinsics)矩阵：用于对相机坐标系下坐标点与世界坐标系下坐标点进行转换的矩阵被称为外参矩阵，表示为T，由旋转矩阵R和平移矩阵t构成。本申请实施例涉及的标定，即根据各个深度相机各自的外参矩阵，确定相互之间位姿关系的过程。请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图，该实施环境中包括：待标定深度相机110以及计算机设备120。待标定深度相机110是同时具有彩色图像以及深度图像采集功能的相机，其中，彩色图像中包含所拍摄环境的红绿蓝(Red-Green-Blue，RGB)信息，深度图像中包含拍摄环境的深度(depth)信息。在一些实施例中，待标定深度相机110中包含用于采集彩色图像的RGB相机模组，以及用于采集深度图像的深度相机模组，且彩色相机模组对应的内参矩阵为Kr，深度相机模组对应的内参矩阵为Kd，Kr和Kd均通过离线标定得到，为相机模组的固有属性，而RGB相机模组与深度相机模组之间的转换矩阵(用于在RGB相机模组坐标系与深度相机模组坐标系之间进行转换)为该转换矩阵中包含旋转矩阵R和平移矩阵t。本申请实施例中，待标定深度相机指未经过外参标定的深度相机。如图1所示，多个待标定深度相机110(图中以4个为例进行说明)分别设置在同一环境中的不同位置，且各个本文档来自技高网...

【技术保护点】
1.一种多深度相机的标定方法，其特征在于，所述方法包括：/n构建目标环境对应的目标环境点云；/n基于各个待标定深度相机在所述目标环境中采集到的图像，构建各个所述待标定深度相机对应的待配准环境点云；/n对所述待配准环境点云和所述目标环境点云进行点云配准，得到各个所述待标定深度相机对应的目标变换矩阵，所述目标变换矩阵用于表示从所述待配准环境点云变换至所述目标环境点云的变换方式；/n基于各个所述待标定深度相机对应的所述目标变换矩阵，对各个所述待标定深度相机进行标定。/n

【技术特征摘要】
1.一种多深度相机的标定方法，其特征在于，所述方法包括：
构建目标环境对应的目标环境点云；
基于各个待标定深度相机在所述目标环境中采集到的图像，构建各个所述待标定深度相机对应的待配准环境点云；
对所述待配准环境点云和所述目标环境点云进行点云配准，得到各个所述待标定深度相机对应的目标变换矩阵，所述目标变换矩阵用于表示从所述待配准环境点云变换至所述目标环境点云的变换方式；
基于各个所述待标定深度相机对应的所述目标变换矩阵，对各个所述待标定深度相机进行标定。


2.根据权利要求1所述的方法，其特征在于，所述对所述待配准环境点云和所述目标环境点云进行点云配准，得到各个所述待标定深度相机对应的目标变换矩阵，包括：
对所述待配准环境点云和所述目标环境点云进行的第一配准，得到所述待标定深度相机对应的中间变换矩阵；
基于所述中间变换矩阵，对所述待配准环境点云和所述目标环境点云进行第二配准，得到所述待标定深度相机对应的所述目标变换矩阵，所述第二配准的配准精度高于所述第一配准的配准精度。


3.根据权利要求2所述的方法，其特征在于，所述基于所述中间变换矩阵，对所述待配准环境点云和所述目标环境点云进行第二配准，得到所述待标定深度相机对应的所述目标变换矩阵，包括：
基于所述中间变换矩阵，将所述待配准环境点云中的待配准点变换至所述目标环境点云的坐标系；
对于变换后的各个所述待配准点，从所述目标环境点云中，确定与变换后所述待配准点对应的两个最近邻点，所述两个最近邻点是所述目标环境点云中与所述待配准点之间距离最小的两个点；
基于所述待配准点至所述两个最近邻点之间连线的距离，确定所述待配准点的配准误差；
通过最小化所述配准误差，得到所述待标定深度相机对应的所述目标变换矩阵。


4.根据权利要求2所述的方法，其特征在于，所述对所述待配准环境点云和所述目标环境点云进行第一配准，得到所述待标定深度相机对应的中间变换矩阵，包括：
确定所述待配准环境点云中的采样点；
基于所述采样点的FPFH特征，确定所述目标环境点云中所述采样点对应的目标点，所述目标点与所述采样点具有相似的FPFH特征；
通过最小化所述采样点与所述目标点之间的距离，得到所述待标定深度相机对应的所述中间变换矩阵。


5.根据权利要求1至4任一所述的方法，其特征在于，所述构建目标环境对应的目标环境点云，包括：
获取深度相机在所述目标环境中采集到的彩色图像和深度图像，所述彩色图像和所述深度图像由所述深度相机在运动过程中采集得到；
基于所述彩色图像和所述深度图像，确定所述深度相机在运动过程中的位姿变化情况；
基于所述彩色图像、所述深度图像以及所述位姿变化情况，构建所述目标环境对应的所述目标环境点云。


6.根据权利要求5所述的方法，其特征在于，所述基于所述彩色图像和所述深度图像，确定所述深度相机在运动过程中的位姿变化情况，包括：
确定各帧所述彩色图像中的特征点；
确定相邻两帧彩色图像中特征点之间的距离误差，所述距离误差用于表征相邻两帧彩色图像中同一特征点投射至世界坐标系后...

【专利技术属性】
技术研发人员：邓翔宇，李姬俊男，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44