三维平面重建方法、三维平面重建系统与计算装置制造方法及图纸

一种三维平面重建方法、三维平面重建系统与计算装置。三维平面重建方法包括以下步骤：以感测装置连续取得动态场景的彩色信息、深度信息及方位信息。依据这些彩色信息及深度信息计算多个特征点，并标示出非平面物体。非平面物体包括动态物体及零碎物体。依据未标示为非平面物体的特征点及方位信息计算点云，并即时转换点云为三维网格。依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。于非平面物体的空缺部分。于非平面物体的空缺部分。

【技术实现步骤摘要】
三维平面重建方法、三维平面重建系统与计算装置


[0001]本专利技术涉及三维平面重建方法、三维平面重建系统与计算装置。

技术介绍

[0002]一般是以移动式相机模块扫描场景建立三维场景模型。然而，在扫描场景时，常有人员走动，而无法重建正确的三维场景模型。
[0003]在许多应用中，只需重建三维场景中的平面结构，不需包含凌乱的小物体或人员。
[0004]用一般方法扫描场景所产生的点云数据量非常大，而且需取得所有点云后才转换成网格，如此会占用大量存储器及处理器资源，无法有效地应用于头戴装置。
[0005]因此，研究人员致力于开发一种新的技术用于扫描并重建动态场景中的三维平面结构，以降低运算所需的存储器及处理器资源，并提高处理效率及品质。

技术实现思路

[0006]本专利技术涉及一种三维平面重建方法、三维平面重建系统与计算装置，结合彩色信息、深度信息及特征点的分析，除去动态物体及零碎物体，以精准地获得三维平面结构。并且可在取得局部点云后，即时转换成三维网格，以降低储存点云所需的存储器。同时依据新产生的点云持续更新三维网格，以提高处理效率。
[0007]根据本专利技术的一实施例，提出一种三维平面重建方法，包括以下步骤：以感测装置连续取得动态场景的彩色信息、深度信息及方位信息。依据彩色信息及深度信息，计算多个特征点，并标示出非平面物体。非平面物体包括动态物体及零碎物体。依据未标示为非平面物体的特征点及该方位信息计算点云信息，并即时转换点云信息为三维网格。依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。
[0008]根据本专利技术的一实施例，提出一种三维平面重建系统，包括：感测装置及计算装置。感测装置用于连续取得动态场景的彩色信息、深度信息及方位信息。计算装置包括特征点计算单元、非平面物体标示单元、网格计算单元及网格填补单元。特征点计算单元用于依据彩色信息及深度信息，计算多个特征点。非平面物体标示单元用于标示出非平面物体，包括动态物体及零碎物体。网格计算单元用于依据未标示为非平面物体的特征点及方位信息计算点云信息，并即时转换点云信息为三维网格。网格填补单元依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。
[0009]根据本专利技术的一实施例，提出一种计算装置。计算装置包括特征点计算单元、非平面物体标示单元、网格计算单元及网格填补单元。特征点计算单元，用于依据依彩色信息及深度信息，计算多个特征点。非平面物体标示单元用于标示出非平面物体，包括动态物体及零碎物体。网格计算单元用于依据未标示为非平面物体的特征点及方位信息计算点云信息，并即时转换点云信息为三维网格。网格填补单元用于依据包围或邻近非平面物体的三维网格信息，扩增三维网格，以填补对应于非平面物体的空缺部分。
[0010]为了对本专利技术的上述及其他方面有更佳的了解，下文特列举实施例，并配合所附
附图详细说明如下：
附图说明
[0011]图1绘示根据一实施例的动态场景的三维平面的重建系统的示意图；
[0012]图2绘示根据一实施例的动态场景的三维平面重建方法的流程图；
[0013]图3绘示根据一实施例的动态物体的标示程序的局部流程图；
[0014]图4～5绘示根据一实施例的物体的示意图；
[0015]图6绘示根据一实施例的零碎物体的标示程序的局部流程图；
[0016]图7绘示图2的步骤S103的局部流程图；
[0017]图8～11绘示图7的各步骤的示例图；
[0018]图12～13绘示图2的步骤S104的示意图。
[0019]【附图标记说明】
[0020]1000：三维平面重建系统
[0021]100：感测装置
[0022]110：彩色相机
[0023]120：深度相机
[0024]130：方位感测器
[0025]200：计算装置
[0026]210：特征点计算单元
[0027]220：非平面物体标示单元
[0028]221：重复程度记录器
[0029]222：动态物体标示器
[0030]223：尺寸计算器
[0031]224：零碎物体标示器
[0032]230：网格计算单元
[0033]240：网格填补单元
[0034]CP1、CP2：点云信息
[0035]F1：特征点
[0036]F
N-2
、F
N-1
、F
N
：影像
[0037]MS1、MS2、MS3：三维网格
[0038]O1：非动态物体特征点
[0039]O2：非动态及非零碎物体特征点
[0040]OB1：移动物体
[0041]S1：彩色信息
[0042]S2：深度信息
[0043]S3：方位信息
[0044]S4：信赖度信息
[0045]S5：三维尺寸
[0046]S6：三维网格
[0047]S101、S102、S1021、S1022、S1023、S1024、S103、S1031、S1032、S1033、S104：步骤
具体实施方式
[0048]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。
[0049]请参照图1，其绘示根据一实施例的三维平面重建系统1000的示意图。三维平面重建系统1000包括感测装置100及计算装置200。感测装置100包括彩色相机110、深度相机120及方位感测器130。彩色相机110例如是摄影机或具有连拍功能的相机。深度相机120例如是双相机、结构光深度相机或飞时测距(time of flight，ToF)深度感测器等。方位感测器130可感测至少三轴旋转方向及三轴移动位置，例如由一或多个广角或鱼眼相机及惯性测量单元(Inertial measurement unit)组成。惯性测量单元例如是多自由度(degrees of freedom，DOF)微机电元件(MEMS)，其由陀螺仪(gyroscopes)、加速度计(accelerometers)、磁力计等组合而成。
[0050]如图1所示，计算装置200包括特征点计算单元210、非平面物体标示单元220、网格计算单元230及网格填补单元240。计算装置200例如是电脑、伺服器、云端运算中心、头戴式装置内的处理器、芯片、电路等装置。特征点计算单元210依据彩色信息及深度信息，计算多个特征点。非平面物体标示单元220包括重复程度记录器221、动态物体标示器222、尺寸计算器223及零碎物体标示器224。其中重复程度记录器221比对连续取得的多张画面，计算每个特征点的信赖度，再以动态物体标示器222排除动态物体，保留非动态物体特征点O1。尺寸计算器223依据彩色信息及深度信息(例如为深度图depth map本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维平面重建方法，包括：以感测装置连续取得动态场景的彩色信息、深度信息及方位信息；依据该彩色信息及该深度信息，计算多个特征点，并标示出非平面物体，该非平面物体包括动态物体及零碎物体；依据未标示为该非平面物体的该些特征点及该方位信息计算点云信息，并即时转换该点云信息为三维网格；以及依据包围或邻近该非平面物体的三维网格信息，扩增该三维网格，以填补对应于该非平面物体的空缺部分。2.如权利要求1所述的三维平面重建方法，其中该感测装置包括彩色相机、深度相机及方位感测器。3.如权利要求1所述的三维平面重建方法，其中依据该彩色信息及该深度信息计算该些特征点，并标示出该非平面物体的步骤包括：比对该些特征点的位置及重复出现次数，以获得该些特征点的多个信赖度信息；以及依据该些特征点的该些信赖度信息，将部分的该些特征点，标示为该动态物体，该动态物体所对应的该些特征点的该些信赖度信息小于信赖度门限值。4.如权利要求1所述的三维平面重建方法，其中依据该彩色信息及该深度信息计算该些特征点，并标示出该非平面物体的步骤包括：依据该彩色信息及该深度信息，计算物体的三维尺寸；以及依据该三维尺寸，将部分的该些特征点标示为该零碎物体，该零碎物体的该三维尺寸小于尺寸门限值。5.如权利要求1所述的三维平面重建方法，其中依据未标示为该非平面物体的该些特征点及该方位信息计算该点云信息，并即时转换该点云信息为该三维网格的步骤包括：删减位于已建立的该三维网格内的该点云信息；依据删减后的该点云信息，新增三维网格；以及比较新增三维网格的方向向量与已建立三维网格的方向向量，合并方向向量差异小于差异门限值的三维网格。6.如权利要求1所述的三维平面重建方法，其中在以包围或邻近该非平面物体的该三维网格信息，扩增该三维网格，以填补对应于该非平面物体的空缺部分的步骤中，填补的三维网格与邻近或包围被标示为该非平面物体的三维网格的方向向量差异小于差异门限值。7.一种三维平面重建系统，包括：感测装置，用于连续取得动态场景的彩色信息、深度信息及方位信息；以及计算装置，包括：特征点计算单元，用于依据该彩色信息及该深度信息计算多个特征点；非平面物体标示单元，用于标示出非平面物体，该非平面物体包括动态物体及零碎物体；网格计算单元，用于依据未标示为该非平面物体的该些特征点及该方位信息计算点云信息，并即时转换该点云信息为三维网格；及网格填补单元，用于依据包围或邻近该非平面物体的三维网格信息，扩增该三维网格，以填补对应于该非平面物体的空缺部分。
8.如权利要求7所述的三维平面重建系统，其中该感测装置包括深度彩色相机、深度相机及方位感测器。9.如权利要求7所述的三维平面重建系统...

【专利技术属性】
技术研发人员：汪德美，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：