一种基于图信号处理的三维动态点云修复方法技术

本发明专利技术公开了一种基于图信号处理的三维动态点云修复方法，其步骤包括：1)将点云序列S有缺失区域P

【技术实现步骤摘要】
一种基于图信号处理的三维动态点云修复方法
本专利技术属于图信号处理领域，涉及一种点云修复方法，尤其涉及基于图信号处理的三维动态点云修复方法。
技术介绍
使用三维扫描仪和深度感测设备采集到的动态点云数据会不可避免地产生数据误差：对于一些扫描不到的区域，在扫描结果中会以缺失数据的孔洞的形式呈现。缺失数据的原因包括由于扫描角度的不完全，激光扫描仪本身的局限性，物体几何结构过于复杂繁复，以及物体运动变化太快等。目前还没有关于动态点云修复的算法，但有一些静态点云修复的算法，可以通过对动态点云中的每一帧含有缺失区域的静态点云应用这些算法，实现动态点云修复。这些静态点云修复算法主要分为两类：修复物体本身的缺失区域，修复在采集过程中产生的缺失区域，和修复特殊数据。修复物体本身的缺失区域的方法的缺失区域一般比较大，主要依赖线上数据库作为填充内容的参考。Sahay等人先尝试通过参考缺失区域周围的几何信息，从已有的点云库中寻找相似数据进行填充；后又提出另一种将点云投影到深度图上的方法，使用字典学习从在线的深度图数据库中搜索相似的深度图，将未知部分对应的信息粘贴到空缺区域，最后将补好的深度图投影回点云。此类方法对被搜索的数据库要求较高，需要足够的与待修补点云相似的序列，且直接填充难免在衔接处产生几何结构的不对齐，这是在最后平滑处理时难以解决的问题。此外，在深度图方法中的两次投影过程将不可避免地产生几何结构的损失。另外，Shankar等人通过提取孔洞周围的边界点来提取其几何特征，拟合缺失部分的曲面后采样插值得到填充的点。Dinesh等人先确定缺失区域的修复顺序，然后基于最小的旋转差异搜索最佳匹配区域来填充缺失区域。这类方法由于参考的数据来源单一，结果不可避免地有几何失真。修复在采集过程中产生的缺失区域方法关注的是由于扫描设备的限制而产生的孔洞。这种孔洞通常要比上一类的孔洞小，因此数据本身的信息通常足以用于修复，一般通过对缺失区域周围的点的分析来预测缺失区域内部的几何结构。例如Quinsat等人和Wang等人基于输入点云创建三角形网格，然后基于孔附近的网格结构在孔洞上构建网格，最后对缺失区域进行插值得到点。但这类方法的结果依赖于网格构造的质量，并且构建网格过程的计算复杂度很高。另外，Lozes等人提出了通过偏微分方法求解孔洞周围点云的优化方程来进行修补的方法；Lin等人则将孔洞分解为几个子洞后，分别利用张量投票方法提取几何特征单独填充；Muraki等人在孔洞附近拟合了一个曲面并进行插值来进行修复。以上的方法由于仅参考了局部的邻域信息，所以其修补结果比实际内容要更趋于平面。而且当几何结构复杂时，在边界附近可能会出现伪影。此外，还有一些针对静态点云的工作处理具有特殊数据形式的点云数据。例如，Friedman的方法中的建筑物的几何规则点云，Li的方法中的扫描线数据，Wu的方法中的人体数据中扁平的条状孔洞。这类方法具有较强的数据针对性，不适用于其他形式的点云。
技术实现思路
针对上述问题和相关方法的缺陷，本专利技术提出了一种基于图信号处理的三维动态点云修复方法。在介绍本专利技术方法的主要步骤之前，首先介绍一下谱图理论中的基本概念，谱图理论将是本专利技术中的方法的核心。谱图理论包括以下几个内容：(1)图和图拉普拉斯算子：我们定义一个无向图其中为图上顶点的集合，顶点的数量ε为边的集合；W为带权邻接矩阵。其中W是一个N×N的实对称矩阵，wi，j是连接顶点i与顶点j的边的权重，通常使用非负值作为权重。图拉普拉斯算子通常被定义为其中D为对角矩阵，对角矩阵D中对角线上的第i个元素根据带权邻接矩阵W得到对角矩阵D，进而得到(2)图信号平滑算子：图信号是指驻留在图的顶点上的数据，例如社交网络，交通网络，传感器网络和神经元网络。例如，如果我们在点云上构造一个K近邻图(K-NN图)，那么每个点的坐标可以被看作是在K-NN图上定义的图信号。对于在图G上定义的信号z，如果满足下述条件，那么称信号z相对于G的拓扑结构是平滑的：其中，∈是一个参数，i～j表示图中相连的两个顶点。为了满足上述公式，zi和zj相对于权重较大的边时必须相似，对于权重较小的边时zi和zj可能完全不同。因此，上述公式强制z适应G的拓扑结构，从而创造了图信号的平滑性。由于zTLz＝∑i～jwi，j(zi-zj)2，上述公式还可以写为zTLz＜∈。这个算子将在后续的点云修复步骤中作为一个正则化项使用。在介绍完基本的谱图理论之后，开始讨论本专利技术中的方法。对输入的点云序列S＝{P1，P2，…，Pq}中每一帧有缺失区域的点云Pf，本专利技术将实施五个主要步骤进行修复：1)点云的预处理：(1)将当前帧点云Pf分割成互相有重叠部分的立方块{c1，c2，…，cn}作为衡量点云的几何信息的单位。(2)选择包含缺失数据的立方块作为目标块ct。(3)其他具有足够点数的块及其镜面对称的块作为候选块cc，我们将从中寻找与目标块最相似的块。2)搜索帧内相似区域：(1)计算目标块ct和所有候选块的法向量的直流分量(DirectComponent，DC)。(2)在目标块ct和所有候选块上应用K-NN算法对块中的点建立K-NN图。(3)计算目标块ct和每一候选块的法向量的各向异性图全变分(AnisotropicGraphTotalVariation，AGTV)。(4)计算每一候选块与目标块ct的DC差距和AGTV差距，得到所有候选块与目标块间的相似度。(5)选取相似度最高的候选块作为帧内源块cs。利用专利ZL201811610195.6中的方法进行cs中的几何结构与ct中几何结构的相对位置的匹配，得到最终的帧内源块用于最后的修复步骤。3)搜索帧间相关区域：(1)在与点云Pf相邻的前一帧Pf-1中找到与ct相对位置相同的块c′t。(2)围绕c′t在Pf-1中创建一个包围盒(3)在中搜索目标块ct中每个点的最近邻点。(4)在包围盒中创建一个滑动立方窗口寻找帧Pf-1中包含ct的最近邻点最多的立方块，作为帧间源块(5)利用专利ZL201811610195.6中的方法进行帧间源块中的几何结构与ct中几何结构的相对位置的匹配，得到最终的前一帧的帧间源块同理，通过后续步骤(6)～(10)可以在后一帧中得到帧间源块(6)在与点云Pf相邻的后一帧Pf+1中找到与ct相对位置相同的块c″t。(7)围绕c″t在Pf+1中创建一个包围盒(8)在中搜索目标块ct中每个点的最近邻点。(9)在包围盒中创建一个滑动立方窗口寻找帧Pf+1中包含ct的最近邻点最多的立方块，作为帧间源块(10)在帧间源块上进行与对相同的块内几何结构匹配，得到最终的前一帧的帧间源块4)空间-时间图初始化：(1)建立三重立方块g。(2)在g上为修复结果块cr中的点建图对于cr内的点之间，所建的子图是K-NN图。(本文档来自技高网...

【技术保护点】
1.一种基于图信号处理的三维动态点云修复方法，其步骤包括：/n1)对于输入的点云序列S＝{P

【技术特征摘要】
1.一种基于图信号处理的三维动态点云修复方法，其步骤包括：
1)对于输入的点云序列S＝{P1，P2，…，Pq}，Pq为第q帧对应的点云，如果点云序列S中第f帧对应的点云Pf中有缺失区域，则将点云Pf分割成n个立方块{c1，c2，…，cn}并从中选择包含缺失数据的立方块作为目标块ct；以及从{c1，c2，…，cn}中选择点数超过设定阈值的立方块及其镜面对称块作为候选块；
2)从所述候选块中选取与该目标块ct相似度最高的候选块作为帧内源块cs；对cs中的几何结构与ct中的几何结构进行位置匹配，得到最终的帧内源块
3)在点云Pf-1中找到与ct相对位置相同的块c′t、在点云Pf+1中找到与ct相对位置相同的块c″t；其中第f帧的前一帧第f-1帧对应的点云为Pf-1，第f帧的后一帧第f+1帧对应的点云为Pf+1；
4)围绕c′t在Pf-1中创建一个包围盒并在中搜索目标块ct中每个点的最近邻点；
围绕c″t在Pf+1中创建一个包围盒并在中搜索目标块ct中每个点的最近邻点；
5)寻找点云Pf-1中包含ct的最近邻点最多的立方块，作为帧间源块寻找点云Pf+1中包含ct的最近邻点最多的立方块，作为帧间源块
6)对帧内源块中的几何结构与ct中的几何结构进行位置匹配，得到帧间源块
对帧内源块中的几何结构与ct中的几何结构进行位置匹配，得到帧间源块
7)利用和中的信息修复目标块ct中的缺失区域。


2.如权利要求1所述的方法，其特征在于，获取帧内源块cs的方法为：
21)计算目标块ct和所有候选块的法向量的直流分量DC；
22)在目标块ct和所有候选块上应用K-NN算法对块中的点建立K-NN图；
23)计算目标块ct和每一候选块的法向量的各向异性图全变分AGTV；
24)根据每一候选块与目标块ct的DC差距、AGTV差距，确定各候选块与目标块间的相似度；
25)选取相似度最高的候选块作为帧内源块cs。


3.如权利要求1或2所述的方法，其特征在于，利用和中的信息修复目标块ct中的缺失区域的方...

【专利技术属性】
技术研发人员：胡玮，傅泽卿，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11