一种基于三维重建的3D数据库制作方法技术

本发明专利技术涉及一种基于三维重建的3D数据库制作方法，包括获取目标物体不同角度的图像，建立边界框模型和物体等比例模型；对图像进行三维重建，获取图像的点云、相机外参和相机内参；将边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；根据相机模型函数，得到像素坐标，并生成mask图；将初始三维坐标、mask图和像素坐标与目标物体信息录入数据库中。与现有技术相比，本发明专利技术具有灵活性更强、精度高等优点。精度高等优点。精度高等优点。

【技术实现步骤摘要】
一种基于三维重建的3D数据库制作方法


[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种基于三维重建的3D数据库制作方法。

技术介绍

[0002]随着工业的发展，视觉系统在工业生产环境中起到了关键的作用，生产环境下往往需要机器人或机械臂自动完成目标零件的识别与准确定位并进行抓取、零件焊接、喷漆等操作。近年来基于视觉的位姿估计也日益兴起，尤其是基于深度学习的位姿估计方法，相较于传统方法在精度和速度方面都表现的更加优异。这类技术往往需要基于大量的数据进行，主要包括图像及每张图像对应的目标物体的像素坐标，与传统的2D标注不同，针对位姿估计的目标数据标注指的是包围物体的立方体框的顶点在图像中的坐标，即至少八个空间点的坐标。
[0003]在实际工业检测领域，制作大量的高质量训练数据耗费时间，且成本高昂，尤其是通过人工测量的方法计算得到物体的真实位姿，该方法往往配合传感器使用，需要较大的人力和物力，且得到的位姿与真实位姿存在一定的差异。利用3D软件渲染目标物体来得到其对应的位姿等真值，该方法得到的位姿较为精确，但虚拟场景下的物体与真实场景的物体存在差异，难以模仿真实的应用场景。
[0004]此外，目前现有的公开数据库如Rigid Pose数据库针对物体十分有限，无法完全提供真实场景下的任意目标物体信息，难以满足工业生产的需求。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建的3D数据库制作方法。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于三维重建的3D数据库制作方法，包括以下步骤：
[0008]S1、使用相机获取目标物体不同角度的视频，并按帧提取图像，根据目标物体实际大小建立边界框模型和物体等比例模型；
[0009]S2、对图像进行三维重建，获取图像的点云、相机外参和相机内参；
[0010]S3、将S1中得到的边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；
[0011]S4、改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；
[0012]S5、根据相机模型函数，结合初始三维坐标、模型表面坐标、相机外参和相机内参，得到像素坐标并生成mask图；
[0013]S6、将初始三维坐标、mask图、物体像素坐标和目标物体的类型录入数据库中。
[0014]进一步地，所述图像的点云的获取步骤包括：获取稀疏点云，并根据稀疏点云获取稠密点云作为图像的点云。
[0015]进一步地，所述稀疏点云获取步骤如下：
[0016]A1、提取所有图像的特征点坐标，匹配所有图像之间的特征点，并使用随机抽样一致性法去除错误的匹配对；
[0017]A2、使用约束矩阵，获取相机基线最大的匹配的特征点，作为最大像对；
[0018]A3、根据最大像对的坐标，使用随机抽样一致性八点法计算本征矩阵；
[0019]A4、分解所述本征矩阵得到相机位姿；
[0020]A5、根据特征点坐标和相机位姿，计算得到三维点坐标，将三维点坐标和相机位姿代入误差投影方程，使用光束法平差法对三维点坐标和相机位姿进行优化，将优化后的三维点坐标组合得到稀疏点云，将优化后的相机位姿设为相机外参。
[0021]进一步地，步骤A2中的约束矩阵使用表达式如下：
[0022][0023]其中，F表示约束矩阵，x',y',z'和x,y,z表示两帧图像的特征点坐标。
[0024]进一步地，所述稠密点云获取步骤如下：
[0025]利用多视角立体视觉生产系统，输入稀疏点云中得到的相机外参和整体图像，获取稠密点云。
[0026]进一步地，特征点的类别包括FAST角点、SIFT角点、ORB角点和Harris角点。
[0027]进一步地，误差投影方程表达式如下：
[0028][0029]式中，g(C,X)表示最小化重投影方程，其参数表示所有待优化的三维点坐标X和所有相机位姿C，n表示共选取了几帧的图像，m表示稀疏点云中三维点的数量，q
ij
表示第j个三维点在第i帧图像中对应的特征点的像素坐标，P(C
i
,X
j
)表示第j个三维点X
j
结合第i个相机位姿C
i
在第i帧图像的投影坐标，其中当X
j
在第i帧图像有投影时ω
ij
＝1，否则ω
ij
＝0。
[0030]进一步地，使用ICP匹配算法改变物体等比例模型的位姿。
[0031]进一步地，所述相机为单目相机。
[0032]进一步地，所述相机模型函数表达式如下：
[0033][0034]式中，K表示相机内参，R、T表示相机外参，Z
c
表示K(RP
W
+T)在z方向的坐标，P
W
表示表面坐标或边界框顶点坐标；
[0035]当Pw表示边界框顶点坐标时，计算得到的u，v表示物体像素坐标；
[0036]当Pw表示表面坐标时，计算得到的u，v表示物体mask图的所有坐标。
[0037]与现有技术相比，本专利技术具有以下优点：
[0038]1、本专利技术通过对真实场景中的物体进行图像提取、建立模型以及三维重建，通过
各级函数计算获取像素坐标等数据库相关信息，该方可对任何物体进行数据库建立，适用范围广，精确度高。
[0039]2、本专利技术在点云建立时先根据图像特征建立稀疏点云后建立稠密点云，进一步确保了图像信息提取的精确度。
附图说明
[0040]图1为本专利技术的流程示意图。
[0041]图2为本专利技术获取的目标图像示意图。
[0042]图3为本专利技术创建的边框模型示意图。
[0043]图4为本专利技术创建的物体等比例模型示意图。
[0044]图5a为本专利技术某一帧图像提取特征点的示意图
[0045]图5b为本专利技术另一帧图像提取特征点的示意图。
[0046]图6为本专利技术特征点匹配示意图。
[0047]图7为本专利技术使用随机抽样一致性方法后的匹配示意图。
[0048]图8为本专利技术的稀疏点云示意图。
[0049]图9为本专利技术的稠密点云示意图。
[0050]图10为边框模型包括目标物体点云示意图。
[0051]图11为物体等比例模型与目标物体点云重合示意图。
[0052]图12为本专利技术像素坐标标注示意图。
[0053]图13为本专利技术生成的mask图示意图。
具体实施方式
[0054]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建的3D数据库制作方法，其特征在于，包括以下步骤：S1、使用相机获取目标物体不同角度的视频，并按帧提取图像，根据目标物体实际大小建立边界框模型和物体等比例模型；S2、对图像进行三维重建，获取图像的点云、相机外参和相机内参；S3、将S1中得到的边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；S4、改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；S5、根据相机模型函数，结合初始三维坐标、模型表面坐标、相机外参和相机内参，得到像素坐标并生成mask图；S6、将初始三维坐标、mask图、物体像素坐标和目标物体的类型录入数据库中。2.根据权利要求1所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述图像的点云的获取步骤包括：获取稀疏点云，并根据稀疏点云获取稠密点云作为图像的点云。3.根据权利要求2所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述稀疏点云获取步骤如下：A1、提取所有图像的特征点坐标，匹配所有图像之间的特征点，并使用随机抽样一致性法去除错误的匹配对；A2、使用约束矩阵，获取相机基线最大的匹配的特征点，作为最大像对；A3、根据最大像对的坐标，使用随机抽样一致性八点法计算本征矩阵；A4、分解所述本征矩阵得到相机位姿；A5、根据特征点坐标和相机位姿，计算得到三维点坐标，将三维点坐标和相机位姿代入误差投影方程，使用光束法平差法对三维点坐标和相机位姿进行优化，将优化后的三维点坐标组合得到稀疏点云，将优化后的相机位姿设为相机外参。4.根据权利要求3所述的一种基于三维重建的3D数据库制作方法，其特征在于，步骤A2中的约束矩阵使用表达式如下：其中，F表示约束矩阵，x',y',z'和x,y,z表示两帧图像的特征点坐标。5.根据权利要求2所述的一种基于...

【专利技术属性】
技术研发人员：董延超，龚佩，
申请(专利权)人：同济大学，
类型：发明
国别省市：