联合图像语义和三维信息的深度图像错误点移除方法技术

本发明专利技术公开了一种联合图像语义和三维信息的深度图像错误点移除方法，包括步骤：1)获取输入数据，包括彩色图像和带有错误点的深度图像；2)输入彩色图像，通过残差卷积神经网络预测彩色图像的法线；输入带有错误点的深度图像，采用主成分分析法计算深度图像的法线；3)输入标注了潜在深度图像错误点区域的彩色图像，通过带有空洞卷积的卷积神经网络预测彩色图像中的潜在深度图像错误点区域；并将潜在深度图像错误点区域和两种法线投影至三维；4)计算三维上每个点在局部邻域上的两种法线差异以及每个点的局部密度来剔除深度错误点。本发明专利技术具有提升深度图像质量以及提高了深度补全等应用对于带噪声的深度图像进行恢复的有效性。性。性。

【技术实现步骤摘要】
联合图像语义和三维信息的深度图像错误点移除方法


[0001]本专利技术涉及在深度图像去噪的
，尤其是指一种联合图像语义和三维信息的深度图像错误点移除方法。

技术介绍

[0002]深度图像作为场景中三维信息的一种隐式表示，被广泛地应用在很多领域。像人机交互、三维重建、机器人路径规划和虚拟现实等领域都会应用深度图像来引导部分功能的实现。采集深度图像一般有三种方法，分别是飞行时间法、结构光法和双目视觉法。其中飞行时间法和结构光法的成本相对较低和实时性能稳定，在日常生活应用中得到了广泛的关注。同时，深度相机不仅仅能采集深度图像，还能在实时过程中采集对应的彩色图像，进一步拓宽了应用。
[0003]但是，由于深度相机本身传感器的限制，采集的深度图像往往会产生深度丢失和深度错误的情况。当拍摄场景的光线较暗，或者拍摄物体本身具有吸光、反射光和半透明的属性时，往往会导致拍摄的区域出现深度错误点。虽然已有不少基于传统和深度学习的方法对深度错误点进行剔除即去噪，但是他们往往是假设噪声规模处于一定级别以及噪声可建模，同时还需要大量训练数据，这使得他们的去噪方法局限性较大。而由于拍摄环境的限制，出现的深度错误点往往比较随机。同时，下游应用如深度补全、三维重建也会遭受到大量深度错误点的影响，导致效果变差。所以，如何移除采集到的深度图像中的错误点就成为了一个关键问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提出了一种联合图像语义和三维信息的深度图像错误点移除方法，可有效解决由于拍摄环境导致的深度错误点问题，同时，在有效移除这些深度错误点后，能够进一步提高了深度图像的精准度和准确性，以提高下游应用的效果。
[0005]为实现上述目的，本专利技术所提供的技术方案为：联合图像语义和三维信息的深度图像错误点移除方法，包括以下步骤：
[0006]1)通过深度相机获取输入数据，包括彩色图像和带有错误点的深度图像；
[0007]2)输入彩色图像，通过残差卷积神经网络预测彩色图像的法线，每个彩色图像像素对应一个法线；输入带有错误点的深度图像，采用主成分分析法计算深度图像的法线，每个深度图像像素对应一个法线；
[0008]3)输入标注了潜在深度图像错误点区域的彩色图像，通过带有空洞卷积的卷积神经网络预测彩色图像中的潜在深度图像错误点区域；在潜在深度像素错误区域中，利用拍摄相机的参数矩阵将该区域投影到三维并以点云的形式表示，区域中每个像素对应三维空间中的每个点；同时，将步骤2)得到的两种法线投影至三维，对应获取到该区域内的法线，得到两种法线在区域中的三维表现形式；
[0009]4)根据步骤3)得到的区域中的两种三维表现形式的法线和区域中的三维空间点，分析每个点在局部邻域上的两种法线差异以及每个三维点的局部密度来剔除错误点，最后将剔除错误点后剩余的点投影回深度图像中，即为深度图像剔除了错误点。
[0010]在步骤1)中，所述彩色图像和带有错误点的深度图像是由深度相机拍摄获取，采集到的彩色图像是RGB编码格式，深度图像是灰度图16位的编码格式；其中，深度图像中的每个像素表示了拍摄相机距离拍摄物体的距离。
[0011]在步骤2)中，输入彩色图像，通过残差卷积神经网络预测彩色图像的法线，即每个像素p
i
′
对应一个法线p
i
′
表示第i个像素，表示第i个像素通过彩色图像I所预测的第i个法线，I表示彩色图像，所有通过彩色图像预测的法线总体表示为N
I
；输入深度图像，通过主成分分析法计算每个像素p
i
′
的法线表示第i个像素通过深度图像D所计算的第i个法线，D表示深度图像，所有通过深度图像计算的法线总体表示为N
D
，包括以下步骤：
[0012]2.1)通过拍摄相机的参数矩阵将深度图像转换到三维空间，每个像素对应每个三维空间点，P为这些三维空间点的表示形式：
[0013][0014]式中，表示第i个三维空间点，i从1到n，n表示三维空间点的总数，表示每个三维空间点坐标的维度为3，由x,y,z三个坐标表示；
[0015]2.2)计算每个三维空间点到其邻域点的距离的协方差矩阵：
[0016][0017]式中，p
i
表示三维空间中第i个当前点，表示第i个点p
i
的邻域点，表示第i个点p
i
的邻域点数量，p
j
‑
p
i
表示邻域点p
j
到当前点p
i
的距离；
[0018]2.3)分解协方差矩阵，协方差矩阵的最小特征值对应的特征向量就是第i个三维空间点的法线对应在深度图像上就是第i个像素的法线，所有像素的法线总体表示为N
D
。
[0019]在步骤3)中，输入标注了潜在深度图像错误点区域的彩色图像，通过带有空洞卷积的卷积神经网络预测彩色图像中的潜在深度图像错误点区域，并将预测的区域以及区域中对应的像素和步骤2)中得到的两种法线投影至三维空间，包括以下步骤：
[0020]3.1)在公开室内数据集SUN RGB
‑
D中通过开源标注软件LabelMe标注预设张数的彩色图像的潜在深度图像错误点区域，用于训练预测潜在深度图像错误点区域；
[0021]3.2)通过带有空洞卷积的卷积神经网络训练标注好的彩色图像；对于预测的彩色图像中的潜在深度图像错误点区域，通过拍摄相机的参数矩阵将其投影至三维空间，对应的三维空间区域标记其为L；同时将区域内的两种法线也投影至三维，得到对应两种三维表现形式的法线。
[0022]在步骤4)中，根据步骤3)得到的两种三维表现形式的法线以及三维空间区域，通过局部密度和每个三维点的局部法线差异来剔除不同级别的错误点，包括以下步骤：
[0023]4.1)计算每个三维点的局部邻域法线一致性差异D
i
以剔除成块深度错误点：
[0024][0025]式中，是高斯权重函数，||p
j
‑
p
i
||为函数中的参数项x
i
，表示第i个点p
i
的邻域点p
j
到当前点p
i
的欧式距离，σ
i
为高斯权重函数中预设的高斯权重因子；Z
i
为归一化因子，为表示当前点p
i
的邻域点数量，表示法线邻域差异，其定义为式中：
[0026]定义了法线差异，表示当前点的两种法线的夹角，cos2表示余弦相似度的平方；定义每个三维点p
i
的局部邻域法线一致性差异D
i
大于预设阈值为正确点，否则为错误点；
[0027]4.2)计算每个三维点的三维邻域稀疏性法线差异D
i
′
以剔除稀疏深度错误点：
[0028][0029]式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.联合图像语义和三维信息的深度图像错误点移除方法，其特征在于，包括以下步骤：1)通过深度相机获取输入数据，包括彩色图像和带有错误点的深度图像；2)输入彩色图像，通过残差卷积神经网络预测彩色图像的法线，每个彩色图像像素对应一个法线；输入带有错误点的深度图像，采用主成分分析法计算深度图像的法线，每个深度图像像素对应一个法线；3)输入标注了潜在深度图像错误点区域的彩色图像，通过带有空洞卷积的卷积神经网络预测彩色图像中的潜在深度图像错误点区域；在潜在深度像素错误区域中，利用拍摄相机的参数矩阵将该区域投影到三维并以点云的形式表示，区域中每个像素对应三维空间中的每个点；同时，将步骤2)得到的两种法线投影至三维，对应获取到该区域内的法线，得到两种法线在区域中的三维表现形式；4)根据步骤3)得到的区域中的两种三维表现形式的法线和区域中的三维空间点，分析每个点在局部邻域上的两种法线差异以及每个三维点的局部密度来剔除错误点，最后将剔除错误点后剩余的点投影回深度图像中，即为深度图像剔除了错误点。2.根据权利要求1所述的联合图像语义和三维信息的深度图像错误点移除方法，其特征在于：在步骤1)中，所述彩色图像和带有错误点的深度图像是由深度相机拍摄获取，采集到的彩色图像是RGB编码格式，深度图像是灰度图16位的编码格式；其中，深度图像中的每个像素表示了拍摄相机距离拍摄物体的距离。3.根据权利要求1所述的联合图像语义和三维信息的深度图像错误点移除方法，其特征在于：在步骤2)中，输入彩色图像，通过残差卷积神经网络预测彩色图像的法线，即每个像素p
i
′
对应一个法线p
i
′
表示第i个像素，表示第i个像素通过彩色图像I所预测的第i个法线，I表示彩色图像，所有通过彩色图像预测的法线总体表示为N
I
；输入深度图像，通过主成分分析法计算每个像素p
i
′
的法线表示第i个像素通过深度图像D所计算的第i个法线，D表示深度图像，所有通过深度图像计算的法线总体表示为N
D
，包括以下步骤：2.1)通过拍摄相机的参数矩阵将深度图像转换到三维空间，每个像素对应每个三维空间点，P为这些三维空间点的表示形式：式中，表示第i个三维空间点，i从1到n，n表示三维空间点的总数，表示每个三维空间点坐标的维度为3，由x,y,z三个坐标表示；2.2)计算每个三维空间点到其邻域点的距离的协方差矩阵：式中，p
i
表示三维空间中第i个当前点，表示第i个点p
i
的邻域点，表示第i个点p
i
的邻域点数量，p
j
‑
p
i
表示邻域点p
j
到当前点p
i
的距离；2.3)分解协方差矩阵，协方差矩阵的最小特征值对应的特征向量就是第i个三维空间点的法线对应在深度图像上就是第i个像素的法线，所有像素的法线总体表示为N
D
。4.根据权利要求1所述的联合图像语义和三维信息的深度图像错误点移除方法，其特
征在于：在步骤3)中，输入标注了潜在深度图像错误点区域的彩色图像，通过带有空洞卷积的卷积神经网络预测彩色图像中的潜在深度图像错误点区域，并将预测的区域以及区域中对应的像素和步骤2)中得到的两种法线投影至三维空间，包括以下步骤：3.1)在公开室内数据集SUN RG...

【专利技术属性】
技术研发人员：冼楚华，钱昆，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：