基于彩色约束项与字典学习的深度图像上采样方法及系统技术方案

本发明专利技术提供一种基于彩色约束项与字典学习的深度图像上采样方法及系统，通过获取由高分辨率深度图像和低分辨率深度图像构成的数据集；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于映射关系进行低分辨率深度图像上采样，可以获取边缘清晰、细节完整的高分辨率深度图像。细节完整的高分辨率深度图像。细节完整的高分辨率深度图像。

【技术实现步骤摘要】
基于彩色约束项与字典学习的深度图像上采样方法及系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于彩色约束项与字典学习的深度图像上采样方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]深度图像在许多计算机视觉任务中起着非常重要的作用，并且广泛的应用于现实生活，例如3D重建、自动驾驶、虚拟现实等。但是由时间飞行相机等设备捕获的深度图像通常具有分辨率低、噪声大的特点，限制了其进一步的应用。近年来，深度图像上采样引起了学者的广泛关注并且提出了许多深度图像上采样的方法，但是深度图像上采样仍然是一个具有挑战性的任务。
[0004]首先，深度图像的边界很难重建，尤其是在上采样因子较大的情况下。其次，由于预处理中下采样操作会使图像场景中的细节部分被严重破坏，使得上采样任务变得更加困难。因此，如何获取边缘清晰、细节完整的高分辨率深度图像成为亟需解决的技术问题。

技术实现思路

[0005]为了解决上述问题，本专利技术的第一个方面提供一种基于彩色约束项与字典学习的深度图像上采样方法，以获得边缘清晰、细节完整的高分辨率深度图像。
[0006]为了实现上述目的，本专利技术主要包括以下几个方面：
[0007]第一方面，本专利技术实施例提供一种基于彩色约束项与字典学习的深度图像上采样方法，所述深度图像上采样方法包括：
[0008]字典学习阶段：获取由高分辨率深度图像和低分辨率深度图像构成的数据集，其中，高分辨率深度图像和低分辨率深度图像一一对应；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；
[0009]高分辨率深度图像重构阶段：以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于所述映射关系进行低分辨率深度图像上采样。
[0010]在一种可能的实施方式中，所述获取由高分辨率深度图像和低分辨率深度图像构成的数据集，包括：
[0011]对获取到的高分辨率深度图像进行高斯模糊操作，得到与所述高分辨率深度图像相对应的低分辨率深度图像；
[0012]基于所述高分辨率深度图像和所述低分辨率深度图像，构建数据集。
[0013]在一种可能的实施方式中，所述图像块包括高分辨率图像块和低分辨率图像块，在所述获取每个图像块对应的特征空间之前，所述深度图像上采样方法还包括：
[0014]移除高分辨率图像块中的低频信息，并且提取出低分辨率图像块中的高频信息；
[0015]利用最优主成分分析的方法对图像块进行降维操作。
[0016]在一种可能的实施方式中，所述特征子空间包括高分辨率特征子空间和低分辨率特征子空间；所述构建字典学习算法模型，包括：
[0017]建立高分辨率特征子空间和低分辨率特征子空间各特征子集之间的线性映射函数。
[0018]在一种可能的实施方式中，所述映射关系的确定方式如下：
[0019]获取低分辨率图像，将所述低分辨率图像进行分块，得到低分辨率图像块；
[0020]将所述低分辨率图像块构造为一个由L2范数正则化的最小二乘回归问题，并引入彩色图像的先验信息，得到重建权重；
[0021]基于所述重建权重，确定低分辨率深度图像与高分辨率深度图像之间的映射关系。
[0022]在一种可能的实施方式中，彩色图像的先验信息包括颜色约束项；将彩色图像转换为YUV颜色空间，根据YUV颜色空间的预设区域、预设区域的最近邻域，以及控制不同颜色通道的相对权重，确定所述颜色约束项。
[0023]在一种可能的实施方式中，所述重建权重表示如下：
[0024][0025]其中，
⊙
表示逐点向量积，α
i
为颜色约束项，W
i
为重建权重，是W
i
的估计值，为低分辨率字典的局部邻域，y
i
为低分辨率图像块，λ为正则化参数。
[0026]第二方面，本专利技术实施例提供一种基于彩色约束项与字典学习的深度图像上采样系统，所述深度图像上采样系统包括：
[0027]字典学习模块，用于获取由高分辨率深度图像和低分辨率深度图像构成的数据集，其中，高分辨率深度图像和低分辨率深度图像一一对应；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间，并对特征空间进行聚类形成多个特征子空间；利用最优主成分分析的方法训练字典，确定特征子空间之间的映射关系；
[0028]高分辨率深度图像重构模块，用于在彩色图像的引导下利用最匹配的映射关系进行深度图像上采样，确定最终的高分辨率深度图像。
[0029]第三方面，本专利技术实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中任一种可能的实施方式中所述的基于彩色约束项与字典学习的深度图像上采样方法的步骤。
[0030]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面中任一种可能的实施方式中所述的基于彩色约束项与字典学习的深度图像上采样方法的步骤。
[0031]本专利技术的有益效果是：
[0032]本专利技术提供的方法在字典学习阶段，获取由高分辨率深度图像和低分辨率深度图像构成的数据集，其中，高分辨率深度图像和低分辨率深度图像一一对应；将数据集中各图
像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；在高分辨率深度图像重构阶段，以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于所述映射关系进行低分辨率深度图像上采样。通过字典学习阶段和高分辨率深度图像重构阶段，可以获取边缘清晰、细节完整的高分辨率深度图像，从而提高上采样后高分辨率深度图像的质量。
附图说明
[0033]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0034]图1是本专利技术实施例所提供的深度图像上采样方法的流程示意图之一；
[0035]图2是本专利技术实施例所提供的深度图像上采样方法的流程示意图之二；
[0036]图3是本专利技术实施例在上采样因子为2时，输出的高分辨深度图像与原始高分辨图像的对比图；
[0037]图4是本专利技术实施例在上采样因子为3时，输出的高分辨深度图像与原始高分辨图像的对比图；
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于彩色约束项与字典学习的深度图像上采样方法，其特征在于，所述深度图像上采样方法包括：字典学习阶段：获取由高分辨率深度图像和低分辨率深度图像构成的数据集，其中，高分辨率深度图像和低分辨率深度图像一一对应；将数据集中各图像划分成多个图像块，获取每个图像块对应的特征空间；对特征空间进行聚类形成多个特征子空间，并以其作为训练样本，构建字典学习算法模型；高分辨率深度图像重构阶段：以彩色图像的先验信息作为模型约束，利用训练样本和字典学习算法模型，迭代求解模型参数，得到低分辨率深度图像与高分辨率深度图像之间的映射关系；基于所述映射关系进行低分辨率深度图像上采样。2.根据权利要求1所述的深度图像上采样方法，其特征在于，所述获取由高分辨率深度图像和低分辨率深度图像构成的数据集，包括：对获取到的高分辨率深度图像进行高斯模糊操作，得到与所述高分辨率深度图像相对应的低分辨率深度图像；基于所述高分辨率深度图像和所述低分辨率深度图像，构建数据集。3.根据权利要求1所述的深度图像上采样方法，其特征在于，所述图像块包括高分辨率图像块和低分辨率图像块，在所述获取每个图像块对应的特征空间之前，所述深度图像上采样方法还包括：移除高分辨率图像块中的低频信息，并且提取出低分辨率图像块中的高频信息；利用最优主成分分析的方法对图像块进行降维操作。4.根据权利要求1所述的深度图像上采样方法，其特征在于，所述特征子空间包括高分辨率特征子空间和低分辨率特征子空间；所述构建字典学习算法模型，包括：建立高分辨率特征子空间和低分辨率特征子空间各特征子集之间的线性映射函数。5.根据权利要求1所述的深度图像上采样方法，其特征在于，所述映射关系的确定方式如下：获取低分辨率图像，将所述低分辨率图像进行分块，得到低分辨率图像块；将所述低分辨率图像块构造为一个由L2范数正则化的最小二乘回归问题，并引入彩色图像的先验信息，得到重建权重；基于所述重建权重，确定低分辨率深度图像与高分辨率深度图像之间的映射...

【专利技术属性】
技术研发人员：王春兴，薛泽颖，万文博，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：