待建模物体三维模型点云的生成方法、装置和系统制造方法及图纸

本发明专利技术公开了一种待建模物体三维模型点云的生成方法、装置和系统，本发明专利技术的方法通过分别采集待建模物体的结构光扫描点云和MVS点云，然后利用PCA算法和ICP算法依次对结构光扫描点云和MVS点云进行粗配准和精配准，使得经过粗配准和精配准后的MVS点云准确转换至结构光扫描点云的坐标系下，有效规避基于单目相机获取的MVS点云无法反映待建模物体的真实尺寸，影响与结构光扫描点云之间的融合的弊端。更进一步的，以结构光扫描点云为基础，利用配准后的MVS点云对结构光扫描点云中的缺失区域进行补充，从而提高补充后的结构光扫描点云的完整度，避免对待建模物体的三维建模具有误差或失败。或失败。或失败。

【技术实现步骤摘要】
待建模物体三维模型点云的生成方法、装置和系统


[0001]本专利技术涉及三维测量与建模
，具体涉及一种待建模物体三维模型点云的生成方法、装置和系统。

技术介绍

[0002]三维重建是计算机视觉的热点问题，目前获取待建模物体的点云的方式有主动式和被动式两种，其中结构光扫描法就是一种典型的主动式三维建模技术，通过投影条纹或散斑对需要建模的物体进行编码，再结合提前标定好的系统参数计算物体表面的高度信息，从而得到待建模物体的点云。而基于多视图对物体进行三维重建则是被动式三维重建的代表，这类方法通常采用单目相机采集待建模物体的图像，然后通过SFM算法恢复相机的姿态与场景的稀疏点云，最后通过MVS算法重建描述待建模物体表面的MVS点云。
[0003]但是，现有通过单目相机采集的图像进行三维重建的MVS点云无法获取物体的真实尺寸，因而无法与结构光扫描法得到的点云进行融合，实现对待建模物体的准确建模。

技术实现思路

[0004]基于上述现状，本专利技术的主要目的在于提供一种待建模物体三维模型点云的生成方法、装置和系统。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种待建模物体三维模型点云的生成方法，包括如下步骤：
[0007]通过结构光扫描方法计算待建模物体的结构光扫描点云，利用单目相机拍摄所述待建模物体多个视点的图像，通过MVS算法计算所述待建模物体的初始MVS点云，其中，所述结构光扫描点云和所述初始MVS点云具有不同的尺度；
[0008]对所述初始MVS点云进行滤波，得到预处理MVS点云；
[0009]使用PCA算法解析所述结构光扫描点云和所述预处理MVS点云之间的初始尺度估计和初始位姿变换，以所述结构光扫描点云为目标点云，基于所述初始尺度估计和所述初始位姿变换将所述预处理MVS点云变换到所述结构光扫描点云的坐标系下，得到第一变换MVS点云；
[0010]通过基于尺度估计的ICP算法迭代解析所述结构光扫描点云和所述第一变换MVS点云之间的精准尺度估计和精准位姿变换，基于所述精准尺度估计和所述精准位姿变换将所述第一变换MVS点云变换到所述结构光扫描点云的坐标系下，得到第二变换MVS点云；
[0011]遍历所述第二变换MVS点云中所有的MVS点，分别以单个所述MVS点为球心，在预设半径内构建得到各所述MVS点分别对应的预设区域；
[0012]分别计算各所述预设区域内所述结构光扫描点云的所有扫描点的总数量，得到各所述预设区域的扫描点数量；
[0013]从各所述预设区域中筛选出所述扫描点数量小于数量阈值的若干个预设区域作为缺失区域；
[0014]将所述第二变换MVS点云中各所述缺失区域对应位置的MVS点添加到所述结构光扫描点云的各所述缺失区域内，得到所述待建模物体的三维模型的完整点云。
[0015]优选地，所述初始位姿变换包括初始旋转矩阵和初始平移向量，所述使用PCA算法解析所述结构光扫描点云和所述预处理MVS点云之间的初始尺度估计和初始位姿变换的步骤，包括：
[0016]S301:对所述结构光扫描点云的所有所述扫描点做求均计算，得到所述结构光扫描点云对应的所述第一点云质心，并对所述预处理MVS点云的所有所述MVS点做求均计算，得到所述预处理MVS点云对应的第二点云质心；
[0017]S302:基于所述第一点云质心计算所述结构光扫描点云对应的第一协方差矩阵，基于所述第二点云质心计算所述预处理MVS点云对应的第二协方差矩阵，并通过奇异值分解的方法求解得到所述第一协方差矩阵的第一特征值和第一左奇异矩阵、所述第二协方差矩阵的第二特征值和第二左奇异矩阵；
[0018]S303:根据所述第一特征值的最大值在所述第一左奇异矩阵对应的特征向量确定第一向量轴，并根据所述第二特征值的最大值在所述第二左奇异矩阵对应的特征向量确定第二向量轴；
[0019]S304:根据各所述扫描点在所述第一向量轴上的最大投影和最小投影之间的差值得到所述结构光扫描点云的有向包围盒的第一最长边，并根据各所述MVS点在所述第二向量轴上的最大投影和最小投影之间的差值得到所述预处理MVS点云的有向包围盒的第二最长边；
[0020]S305:计算所述第一最长边与所述第二最长边的比值，得到所述初始尺度估计；
[0021]S306:使用所述第一左奇异矩阵的矩阵求逆和所述第二左奇异矩阵做矩阵相乘，得到所述初始旋转矩阵，
[0022]S307:使用所述第一点云质心减去所述初始尺度估计、所述初始旋转矩阵和所述第二点云质心的乘积，得到所述初始平移向量。
[0023]优选地，所述使用所述第一点云质心减去所述初始尺度估计、所述初始旋转矩阵和所述第二点云质心的乘积，得到所述初始平移向量的步骤之后，包括：
[0024]以所述结构光扫描点云为目标点云，基于所述初始尺度估计、所述初始旋转矩阵和所述初始平移向量将所述预处理MVS点云变换到所述结构光扫描点云的坐标系下，得到初始变换MVS点云；
[0025]计算所述初始变换MVS点云和所述结构光扫描点云之间的点云平均均方误差，并判断所述点云平均均方误差是否大于误差阈值；
[0026]若所述点云平均均方误差是否大于所述误差阈值，则对所述第二左奇异矩阵的列向量取反，并按照步骤S303—S307重新计算得到新的若干组旋转矩阵和平移向量；
[0027]从各所述旋转矩阵和各所述平移向量中筛选出损失函数最小的一个旋转矩阵和平移向量，作为所述初始旋转矩阵和所述平移向量。
[0028]优选地，所述对所述初始MVS点云进行滤波，得到预处理MVS点云的步骤，包括：
[0029]获取所述初始MVS点云的各个MVS点的点深度，并将所述点深度超过深度阈值的MVS点去除，得到一次MVS点云；
[0030]根据所述一次MVS点云的各个MVS点各自对应的像素点的颜色对所述一次MVS点云
赋予颜色属性，并根据具有所述颜色属性的所述一次MVS点云与背景颜色之间的相似度进行背景点去除，得到二次MVS点云；
[0031]通过统计滤波器对所述二次MVS点云的离群点进行滤除，得到所述预处理MVS点云，所述离群点表征所述二次MVS点云中与最近MVS点的距离大于距离阈值的MVS点。
[0032]优选地，所述利用单目相机拍摄所述待建模物体多个视点的图像，通过MVS算法计算所述待建模物体的初始MVS点云的步骤，包括：
[0033]使用SFM算法分别对各所述视点图像进行位姿估计，得到各所述视点图像分别对应的相机估计参数和稀疏3D点云；
[0034]将各所述相机估计参数和各所述稀疏3D点云输入MVSNet神经网络进行深度估计，得到所述初始MVS点云。
[0035]本专利技术还提供了一种待建模物体三维模型点云的生成装置，包括：
[0036]初始MVS点云生成模块，用于通过结构光扫描方法计算待建模物体的结构光扫描点云，利用单目相机拍摄所述待建模物体多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种待建模物体三维模型点云的生成方法，其特征在于，包括如下步骤：通过结构光扫描方法计算待建模物体的结构光扫描点云，利用单目相机拍摄所述待建模物体多个视点的图像，通过MVS算法计算所述待建模物体的初始MVS点云，其中，所述结构光扫描点云和所述初始MVS点云具有不同的尺度；对所述初始MVS点云进行滤波，得到预处理MVS点云；使用PCA算法解析所述结构光扫描点云和所述预处理MVS点云之间的初始尺度估计和初始位姿变换，以所述结构光扫描点云为目标点云，基于所述初始尺度估计和所述初始位姿变换将所述预处理MVS点云变换到所述结构光扫描点云的坐标系下，得到第一变换MVS点云；通过基于尺度估计的ICP算法迭代解析所述结构光扫描点云和所述第一变换MVS点云之间的精准尺度估计和精准位姿变换，基于所述精准尺度估计和所述精准位姿变换将所述第一变换MVS点云变换到所述结构光扫描点云的坐标系下，得到第二变换MVS点云；遍历所述第二变换MVS点云中所有的MVS点，分别以单个所述MVS点为球心，在预设半径内构建得到各所述MVS点分别对应的预设区域；分别计算各所述预设区域内所述结构光扫描点云的所有扫描点的总数量，得到各所述预设区域的扫描点数量；从各所述预设区域中筛选出所述扫描点数量小于数量阈值的若干个预设区域作为缺失区域；将所述第二变换MVS点云中各所述缺失区域对应位置的MVS点添加到所述结构光扫描点云的各所述缺失区域内，得到所述待建模物体的三维模型的完整点云。2.根据权利要求1所述的待建模物体三维模型点云的生成方法，其特征在于，所述初始位姿变换包括初始旋转矩阵和初始平移向量，所述使用PCA算法解析所述结构光扫描点云和所述预处理MVS点云之间的初始尺度估计和初始位姿变换的步骤，包括：S301:对所述结构光扫描点云的所有所述扫描点做求均计算，得到所述结构光扫描点云对应的所述第一点云质心，并对所述预处理MVS点云的所有所述MVS点做求均计算，得到所述预处理MVS点云对应的第二点云质心；S302:基于所述第一点云质心计算所述结构光扫描点云对应的第一协方差矩阵，基于所述第二点云质心计算所述预处理MVS点云对应的第二协方差矩阵，并通过奇异值分解的方法求解得到所述第一协方差矩阵的第一特征值和第一左奇异矩阵、所述第二协方差矩阵的第二特征值和第二左奇异矩阵；S303:根据所述第一特征值的最大值在所述第一左奇异矩阵对应的特征向量确定第一向量轴，并根据所述第二特征值的最大值在所述第二左奇异矩阵对应的特征向量确定第二向量轴；S304:根据各所述扫描点在所述第一向量轴上的最大投影和最小投影之间的差值得到所述结构光扫描点云的有向包围盒的第一最长边，并根据各所述MVS点在所述第二向量轴上的最大投影和最小投影之间的差值得到所述预处理MVS点云的有向包围盒的第二最长边；S305:计算所述第一最长边与所述第二最长边的比值，得到所述初始尺度估计；S306:使用所述第一左奇异矩阵的矩阵求逆和所述第二左奇异矩阵做矩阵相乘，得到
所述初始旋转矩阵，S307:使用所述第一点云质心减去所述初始尺度估计、所述初始旋转矩阵和所述第二点云质心的乘积，得到所述初始平移向量。3.根据权利要求2所述的待建模物体三维模型点云的生成方法，其特征在于，所述使用所述第一点云质心减去所述初始尺度估计、所述初始旋转矩阵和所述第二点云质心的乘积，得到所述初始平移向量的步骤之后，包括：以所述结构光扫描点云为目标点云，基于所述初始尺度估计、所述初始旋转矩阵和所述初始平移向量将所述预处理MVS点云变换到所述结构光扫描点云的坐标系下，得到初始变换MVS点云；计算所述初始变换MVS点云和所述结构光扫描点云之间的点云平均均方误差，并判断所述点云平均均方误差是否大于误差阈值；若所述点云平均均方误差是否大于所述误差阈值，则对所述第二左奇异矩阵的列向量取反，并按照步骤S303—S307重新计算得到新的若干组旋转矩阵和平移向量；从各所述旋转矩阵和各所述平移向量中筛选出损失函数最小的一个旋转矩阵和平移向量，作为所述初始旋转矩阵和所述平移向量。4.根据权利要求1所述的待建模物体三维模型点云的生成方法，其特征在于，所述对所述初始MVS点云进行滤波，得到预处理MVS点云的步骤，包括：获取所述初始MVS点云的各个MVS点的点深度，并将所述点深度超过深度阈值的MVS点去除，得到一次MVS点云；根据所述一次MVS点云的各个MVS点各自对应的像素点的颜色对所述一次MVS点云赋予颜色属性，并根据具有所述颜色属性的所述一次MVS点云与背景颜色之间的相似度进行背景点去除，得到二次MVS点云；通过统计滤波器对所述二次MVS点云的离群点进行滤除，得到所述预处理MVS点云，所述离群点表征所述二次MVS点云中与最近MVS点的距离大于距离阈值的MVS点。5.根据权利要求1所述的待建模物体三维模型点云的生成方法，其特征在于，所述利用单目相机拍摄所述待建模物体多个视点的图像，通过MVS算法计算所述待建模物体的初始MVS点云的步骤，包括：使用SFM算法分别对各所述视点图像进行位姿估计，得到各所述视点图像分别对应的相机估计参数和稀疏3D点云；将各所述相机估计参数和各所述稀疏3D点云输入MVSNet神经网络进行深度估计，得到所述初始MVS点云。6.一种待建模物体三维模型点云的生成装置，其特征在于，包括：初始MVS点云生成模块，用于通过结构光扫描方法计算待建模物体的结构光扫描点云，利用单目相机拍摄所述待建模物体多个视点的图像，通过MVS算法计算所述待建模物体的初始MVS点云，其中，所述结构光扫描点云和...

【专利技术属性】
技术研发人员：何文奇，杨睿，彭翔，刘晓利，汤其剑，王中俭，
申请(专利权)人：深圳市安华光电技术股份有限公司，
类型：发明
国别省市：