一种结合图像主体提取技术的三维重建方法技术

本发明专利技术涉及本发明专利技术提供一种结合图像主体提取技术的三维重建方法，包括：依次将前景物品摆放成至少两个不同的空间姿态，分别采集图像序列；对部分图像进行交互式图像分割，通过点击前景生成正标签，点击背景生成负标签，生成分割结果；结合图像特征提取和图像特征匹配算法，通过图像特征匹配点，将正标签和负标签依次传递到匹配度最高的图像对中，从而完成图像分割；将主体提取后的图像和图像匹配结果作为输入，执行SfM过程，完成相机参数解算，根据解算出的相机参数，三角化出稀疏点云；将不同空间姿态下完成相机参数解算的所述稀疏点云进行配准，将数据统一变换到同一个坐标系，对变换到统一坐标系下的数据执行后续重建步骤，完成三维重建。完成三维重建。完成三维重建。

【技术实现步骤摘要】
一种结合图像主体提取技术的三维重建方法


[0001]本专利技术涉及三维重建
，尤其是涉及一种结合图像主体提取技术的三维重建方法。

技术介绍

[0002]三维重建是一种利用二维投影恢复物体三维信息(形状等)的计算机技术。随着计算机软硬件的飞速发展，大规模、高精度三维场景的绘制实时性不断提高，难度大幅降低。同时，具有高计算复杂度的三维重建技术也取得了长足进步，一些经典的三维重建算法已被成功地应用在逆向工程、影视娱乐、工业设计、文物保护和“数字地球”、“智慧城市”等城市信息化、智能化等领域。三维建模的方式可划分为三种：基于几何信息的三维软件建模、基于距离的测量建模和基于图像的建模。三种数据来源对应着三种建模方法。其中,基于图像的模型重建方法具有数据获取便捷、设备价格低廉等优点,迅速的成为了当前三维建模的重要方法之一。使用二维图像经由运动恢复结构(SfM，Structure from Motion)生成三维模型是基于图像重建的关键步骤，使其成为近年来基于图像三维建模的热门研究方向。
[0003]但是三维重建过程，易受到采集图像中的背景干扰，同时重建后的三维模型，需要人工干预，来删除背景部分。人工方式的缺点：图像采集时，在主体物体外，会采集到周围的环境，对三维重建，包括特征匹配等过程产生影响，降低准确性。含有环境场景的三维模型，需要人工干预，进行模型裁切，以去除背景场景，目前没有比较好的方法解决该问题。而在三维重建前，对图像进行预处理，去除背景，提取主体，既可以减少背景的干扰，又可以减少人工干预。
[0004]对前景提取，mask_rcnn是经典的图像风格深度学习框架。能够基于先验将图片中不同实例分割开来。但由于是mask_rcnn是基于先验，对于没有见过的物体或者物体组合处理不好。而三维重建任务中，有很多是不常见的物体，无法有效进行前景提取任务。
[0005]基于显著性检测技术，如SaliencyFilters，经常无法正确区分前景、背景，尝试将SaliencyFilters与SuperPixels相结合，但仍达不到理想情况。
[0006]采集物体的图像序列时，因物体底部不能被采集到，生成的模型需要进行人工修补。
[0007]公开于该
技术介绍
部分的信息仅仅旨在加深对本专利技术的总体
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

[0008]本专利技术的目的在于提供一种结合图像主体提取技术的三维重建方法，以解决现有技术中存在的技术问题。
[0009]为了实现上述目的，本专利技术采用以下技术方案：本专利技术提供一种结合图像主体提取技术的三维重建方法，该三维重建方法包括如下步骤：
S1依次将前景物品摆放成至少两个不同的空间姿态，分别采集每个空间姿态下的图像序列；S2对部分图像进行交互式图像分割，通过点击前景生成正标签，点击背景生成负标签，根据所述正标签和所述负标签生成分割结果；S3结合图像特征提取和图像特征匹配算法，通过图像特征匹配点，将正标签和负标签依次传递到匹配度最高的图像对中，从而完成图像分割；S4将主体提取后的图像和图像匹配结果作为输入，执行SfM过程，完成相机参数解算，根据解算出的相机参数，三角化出稀疏点云；S5将不同空间姿态下完成相机参数解算的所述稀疏点云进行配准，将数据统一变换到同一个坐标系，实现坐标对齐，对变换到统一坐标系下的数据执行后续重建步骤，完成三维重建。
[0010]进一步的，所述步骤S2中的所述交互式图像分割包括：对单张图像每次点击后，网络模型根据点击区域，生成粗糙蒙版，通过图像形态学算法提取出用户关心的区域，进行局部预测，更新蒙版，然后进行精细化分割，以前一步获取的蒙版和原图像作为输入，采用条件随机场，结合颜色一致性和特征相似性，构建能量方程，细化分割边界，得到分割结果。
[0011]进一步的，所述步骤S3包括：搜索与完成分割的图像匹配度最高的新图像，则其与前景部分匹配的图像特征点成为新图像的正标签，与背景部分匹配的图像特征点成为新图像的负标签，新图像自动完成图像分割。
[0012]采用上述技术方案，本专利技术具有如下有益效果：本专利技术采用的是基于图像技术的方法，采集物品至少两种不同空间姿态下的图像序列，对图像进行主体提取，背景去除，减少周围环境的干扰，提高三维重建的精度，在重建过程中将两组图像序列的中间结果进行位姿配准，变换到同一坐标系下。重建后的三维模型，也不需要人工干预，以去除环境部分，生成完整的模型成果。
[0013]本专利技术不需要用户对每一张图像进行交互式分割操作，只需要对部分图像进行交互式图像分割，然后结合图像特征提取和图像特征匹配算法，通过图像特征匹配点，将正标签和负标签依次传递到匹配度最高的图像对中。执行这个过程，直到将所有可以匹配的图像完成图像分割，保留前景提取和图像匹配的结果。
附图说明
[0014]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术实施例提供的结合图像主体提取技术的三维重建方法的流程图；图2为本专利技术实施例提供的交互式图像分割的流程图。
实施方式
[0016]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0018]结合图1和图2所示，本实施例提供了一种结合图像主体提取技术的三维重建方法的具体实施方式，具体的说，将待重建物品A以第一种姿态摆放，依据基于图像三维重建的拍摄要求，进行图像数据采集，获得图像序列L1，此时物品A的底部会因为遮挡无法采集到。
[0019]再将待重建物品A以第二种姿态摆放，使因为遮挡无法采集的部分充分呈现出来，进行图像数据采集，获得图像序列L2。
[0020]将两组图像序列存储在两个文件路径下，进行三维重建。
[0021]参照图1，重建过程中，依次对2组数据进行结合交互式分割的图像匹配过程，相机参数解算过程和稀疏点云生成过程。然后进行基于点云的配准，以一组数据的坐标空间为基准，对另一组数据进行坐标变换，统一两组数据的坐标空间。坐标对齐后，再进行稠密点云重建，网格化和纹理贴附过程。
[0022]结合交互式图像分割的图像匹配过程具体实现方式如下。首先，在主体呈现显著的部分图像中进行交互式图像分割。通过点击的方式，标注前景点和背景点，采用深度学习的方法，根据前景点和背景点生成的权重蒙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合图像主体提取技术的三维重建方法，其特征在于，该三维重建方法包括如下步骤：S1依次将前景物品摆放成至少两个不同的空间姿态，分别采集每个空间姿态下的图像序列；S2对部分图像进行交互式图像分割，通过点击前景生成正标签，点击背景生成负标签，根据所述正标签和所述负标签生成分割结果；S3结合图像特征提取和图像特征匹配算法，通过图像特征匹配点，将正标签和负标签依次传递到匹配度最高的图像对中，从而完成图像分割；S4将主体提取后的图像和图像匹配结果作为输入，执行SfM过程，完成相机参数解算，根据解算出的相机参数，三角化出稀疏点云；S5将不同空间姿态下完成相机参数解算的所述稀疏点云进行配准，将数据统一变换到同一个坐标系，实现坐标对齐，对变换到统...

【专利技术属性】
技术研发人员：吴磊，叶许超，尹志城，程秀超，
申请(专利权)人：河北鼎联科技有限公司，
类型：发明
国别省市：