一种基于多视角图像序列的三维重建方法及系统技术方案

本发明专利技术提出了一种基于多视角图像序列的三维重建方法及系统，属于计算机视觉处理的技术领域。其中方法包括以下步骤：步骤1、通过信息采集设备获取不同视角的图像数据，构建第一数据集；步骤2、对所述第一数据集进行预处理，获取第二数据集；步骤3、提取所述第二数据集中的图像特征点；步骤4、将提取到的图像特征点进行匹配；步骤5、基于匹配结果进行三维重建。通过从不同角度的图像信息实现三维重建，与现有技术中的重建方法相比，本发明专利技术重建的点云数更多，重建的三维模型细节表现更好。重建的三维模型细节表现更好。重建的三维模型细节表现更好。

【技术实现步骤摘要】
一种基于多视角图像序列的三维重建方法及系统


[0001]本专利技术涉及计算机视觉处理的
，特别涉及一种基于多视角图像序列的三维重建方法及系统。

技术介绍

[0002]随着计算机视觉领域的发展，基于多视角的三维重建技术在众多
得到了广泛应用。同时，在数字图像处理的技术发展推进下，大众对三维模型的完整度和细节化需求，也越来越高。
[0003]现有技术中，实现三维重建的方法包括采用建模软件重建目标对象，以及通过三维扫描设备扫描对象，基于获取到的三维数据进行三维重建的方法。但是，采用建模软件的方式，周期过长，且针对不规则目标对象的建模效果，达不到所需要求；采用三维设备扫描目标对象的方式，虽然重建模型的精度达到了用户的需求，但是投入的设备成本偏高，不适用于成本预算不足的用户。

技术实现思路

[0004]专利技术目的：提出一种基于多视角图像序列的三维重建方法及系统，以解决现有技术存在的上述问题。
[0005]技术方案：第一方面，提出了一种基于多视角图像序列的三维重建方法，通过从不同角度的图像信息中实现三维重建，该方法具体包括以下步骤：
[0006]步骤1、通过信息采集设备获取不同视角的图像数据，构建第一数据集；
[0007]步骤2、对所述第一数据集进行预处理，获取第二数据集；
[0008]步骤3、提取所述第二数据集中的图像特征点；
[0009]步骤4、将提取到的图像特征点进行匹配；
[0010]步骤5、基于匹配结果进行三维重建。
[0011]在第一方面的一些可实现方式中，获取第二数据集的过程具体包括以下步骤：
[0012]步骤2.1、读取所述第一数据集；
[0013]步骤2.2、对第一数据集中的图像数据进行图像区域分割；
[0014]步骤2.3、基于分割结果进行灰度化处理；
[0015]步骤2.4、对灰度化后的图像数据进行锐化处理；
[0016]步骤2.5、输出最终处理后的图像数据。
[0017]其中，基于分割结果进行灰度化处理的过程中，采用根据亮度进行灰度化处理，对应的灰度化处理的表达式为：
[0018][0019]式中，Gray(i,j)表示图像上(i,j)的灰度值；R(i,j)表示在目标图像在(i,j)出的R分量的亮度值；G(i,j)表示在目标图像在(i,j)出的G分量的亮度值；B(i,j)表示在目标图
像在(i,j)出的B分量的亮度值。采用灰度化处理，不仅保留了原图中的色度和亮度特征，还减少了色彩等无效信息。
[0020]还包括构建用于划分目标图像的实例分割模型；利用所述实例分割模型对第一数据集中的图像数据进行图像区域分割的过程进一步包括以下步骤：
[0021]步骤2.2.1、利用卷积神经网络对待检测的图像进行特征提取，获取对应的特征图；
[0022]步骤2.2.2、对目标图像进行定位，生成待检测框；
[0023]步骤2.2.3、对边界框中的内容进行像素校正，获取固定尺寸的特征图并输出；
[0024]步骤2.2.4、采用全卷积神经网络进行目标类别的分类，获取分类后的划分结果；
[0025]步骤2.2.5、最后，输出含有目标图像的实例分割结果。
[0026]为了提高实例分割模型的性能，进一步采用多任务损失函数对所述实例分割模型进行性能训练，其中进行像素校正训练的每个边界框对应的损失函数表达式为：
[0027]L＝L
cls
+L
box
+L
mask
[0028]式中，L
cls
表示分类损失；L
box
表示定位损失；L
mask
表示分割损失。
[0029]在第一方面的一些可实现方式中，对灰度化后的图像数据进行锐化处理的表达式为：
[0030][0031]式中，g(x,y)表示退化处理后的像素值；f(x,y)表示原始图像；表示拉普拉斯算子，对应表达式为：
[0032][0033]式中，f(x
‑
1,y)表示图像中像素点位于上方位置的灰度值；f(x+1,y)表示图像中像素点位于下方位置的灰度值；f(x,y
‑
1)表示图像中像素点位于左方位置的灰度值；f(x,y+1)表示图像中像素点位于右方位置的灰度值。通过引入拉普拉斯算子的处理，可以获取用于描述灰度突变的图像。
[0034]在第一方面的一些可实现方式中，实现特征点提取的过程具体包括以下步骤：
[0035]步骤3.1、构建尺度空间；
[0036]步骤3.2、基于所述尺度空间，检测关键点；
[0037]步骤3.3、通过曲线拟合检测到的关键点，并获取对应的极值点；
[0038]步骤3.4、将极值点作为处理后的关键点，用于确定特征点的主方向；
[0039]步骤3.5、构建特征点的描述算子，并输出最终处理后的特征点。
[0040]在第一方面的一些可实现方式中，三维重建过程包括：稀疏点云重建和稠密点云重建。
[0041]第二方面，提出一种基于多视角图像序列的三维重建系统，该系统具体包括以下模块：
[0042]用于获取不同视角图像数据的图像获取模块；
[0043]用于对图像数据进行预处理的图像预处理模块；
[0044]用于提取图像特征点的图像特征提取模块；
[0045]用于进行图像特征点匹配的特征点匹配模块；
[0046]用于执行三维重建的三维重建模块。
[0047]第三方面，提出一种基于多视角图像序列的三维重建设备，该设备包括：处理器以及存储有计算机程序指令的存储器；其中，处理器读取并执行所述计算机程序指令，以实现三维重建方法。
[0048]第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，其中，计算机程序指令被处理器执行时，以实现三维重建方法。
[0049]有益效果：本专利技术提出了一种基于多视角图像序列的三维重建方法及系统，与基于传统的运动恢复结构算法重建方法相比，本专利技术重建的点云数更多，重建的三维模型细节表现更好。另外，本申请实现重建的方法简单，在达到较高鲁棒性的同时，所需的投入成本更低。
附图说明
[0050]图1为本专利技术的数据处理流程图。
具体实施方式
[0051]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。
[0052]申请人认为在互联网快速发展的推进下，虚拟现实和三维重建技术的完善程度逐渐提高。但是现有技术中实现三维重建的方法的过程中，存在周期过长或投入成本偏高的问题。同时，在实际应用过程中，由于获取到的图像数据中存在较多相似的细节，因此在特征点匹配的过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角图像序列的三维重建方法，其特征在于，具体包括以下步骤：步骤1、通过信息采集设备获取不同视角的图像数据，构建第一数据集；步骤2、对所述第一数据集进行预处理，获取第二数据集；步骤3、提取所述第二数据集中的图像特征点；步骤4、将提取到的图像特征点进行匹配；步骤5、基于匹配结果进行三维重建。2.根据权利要求1所述的一种基于多视角图像序列的三维重建方法，其特征在于，获取第二数据集的过程具体包括以下步骤：步骤2.1、读取所述第一数据集；步骤2.2、对第一数据集中的图像数据进行图像区域分割；步骤2.3、基于分割结果进行灰度化处理；步骤2.4、对灰度化后的图像数据进行锐化处理；步骤2.5、输出最终处理后的图像数据。3.根据权利要求2所述的一种基于多视角图像序列的三维重建方法，其特征在于，还包括构建用于划分目标图像的实例分割模型；利用所述实例分割模型对第一数据集中的图像数据进行图像区域分割的过程进一步包括以下步骤：步骤2.2.1、利用卷积神经网络对待检测的图像进行特征提取，获取对应的特征图；步骤2.2.2、对目标图像进行定位，生成待检测框；步骤2.2.3、对边界框中的内容进行像素校正，获取固定尺寸的特征图并输出；步骤2.2.4、采用全卷积神经网络进行目标类别的分类，获取分类后的划分结果；步骤2.2.5、最后，输出含有目标图像的实例分割结果。4.根据权利要求3所述的一种基于多视角图像序列的三维重建方法，其特征在于，采用多任务损失函数对所述实例分割模型进行性能训练，其中进行像素校正训练的每个边界框对应的损失函数表达式为：L＝L
cls
+L
box
+L
mask
式中，L
cls
表示分类损失；L
box
表示定位损失；L
mask
表示分割损失。5.根据权利要求2所述的一种基于多视角图像序列的三维重建方法，其特征在于，对灰度...

【专利技术属性】
技术研发人员：周海鹏，李程成，
申请(专利权)人：盐城云启智造科技有限公司，
类型：发明
国别省市：