【技术实现步骤摘要】
本专利技术涉及计算机图像处理，特别涉及一种基于尺度感知隐函数的深度图超分辨率重建方法与系统。
技术介绍
1、纹理图像和深度图像在内的rgb-d数据被广泛应用于三维计算机视觉的许多任务中，如虚拟现实、三维重建、目标跟踪等。如今，人们可以随时随地通过手机捕捉高分辨率（hr）彩色图像。然而，当前仍然缺乏有效的方法来获得高质量的深度图来记录真实场景。之前的研究是通过多视点彩色图像之间的立体匹配来推断深度图，无纹理区域和遮挡是最大的挑战。随着深度神经网络的发展，从单个彩色图像中获得深度图的单目深度估计成为一种新的研究趋势。然而，由于高度不适定的公式，这种模型在推广方面还面临着不小的困难。在本申请方案中，考虑了使用消费级传感器捕获深度地的替代方法，例如，结构光相机、飞行时间相机（tof）。具体来说，结构光传感器通过在场景中反射红外点图案来估计深度图，而tof传感器根据发射的红外线和红外线之间的相位差来测量图像每个像素的深度值。虽然基于传感器的解决方案在深度估计方面更为灵活，但深度图的质量不能满足下游应用程序的要求，因为存在低分辨率（lr）、明显的噪声等问题。
2、在早期阶段，受单图像超分辨率（sisr）的启发，提出了针对单深度图超分辨率（sdsr）的许多变体。然而，由于所需的上采样尺度总是比sisr大得多，因此在重建的深度图中，细粒度的细节和微小的结构要么被扭曲，要么消失。为了缓解sdsr的挑战，引入了从描述相同场景的跨源信息到深度图的信息，如高分辨率彩色图像。显然，高分辨率彩色图像比低分辨率深度图包含更精确的物体边缘。相应的问
3、最近，liif 提出了隐式图像函数的概念，并学习了一个用于任意上采样尺度的通用sisr模型。有趣的是，这种灵活的模型甚至优于使用固定尺度训练的模型，并且在分布外的超分尺度下显示出了良好的结果。这个话题引起了底层视觉社区的注意。相比之下，基于隐式深度函数学习的gdsr的研究则较少，因为相关研究面临三个问题。
4、第一，传统的尺度依赖模型表明了编码器中深度特征与纹理特征之间的双向融合具有显著的性能增益。因此，应该有必要尝试在基于隐式深度函数的模型编码器中融合深度特征和彩色特征。不过要实现以上尝试，模型该如何有效地实现融合连续的上采样尺度信息是需要解决的问题。显然，上采样层，例如池化、转置卷积，是只为固定的上采样尺度而设计的。
5、第二，基于隐式深度函数的工作需要通过将尺度信息引入深度函数来验证效果，然而尺度信息在编码器中的作用仍未得到充分利用，因此，探索尺度信息在解码器中的作用和重要性是需要解决的问题。
6、第三，在解码器中，输入具有两个来源的融合特征。一方面，引导特征在高分辨率空间中具有优势，但包含了向深度域的分布转移。另一方面，深度特征与深度真实值更加一致，但具有低分辨率特征表示的缺点。因此，第三个问题就是如何利用解码器中的这些交叉域，有效地建模位置距离和内容相似性。
技术实现思路
1、鉴于上述状况，本专利技术的主要目的是为了提出一种基于尺度感知隐函数的深度图超分辨率重建方法与系统，以解决上述技术问题。
2、本专利技术提出了一种基于尺度感知隐函数的深度图超分辨率重建方法，所述方法包括如下步骤：
3、步骤1、利用卷积操作分别获取高分辨率引导图的浅层引导特征和低分辨率深度图的浅层深度特征；
4、步骤2、基于transformer，采用滑动窗口的方式分别对浅层引导特征和浅层深度特征进行深层特征提取；并在提取过程中，将窗口所获取图像块的位置信息以及尺度信息引入自注意力计算中学习尺度感知，以获取高分辨率引导特征和低分辨率深度特征；
5、步骤3、将高分辨率引导特征和低分辨率深度特征通过隐式交叉注意力进行相互融合，并进行双向更新，得到更新后的高分辨率引导特征和低分辨率深度特征；
6、步骤4、以更新后的高分辨率引导特征和低分辨率深度特征作为输入，采用迭代的方式重复步骤1至步骤3，得到最终的高分辨率引导特征和低分辨率深度特征；
7、步骤5、采用基于隐式交叉注意力的外部隐式transformer，将最终的高分辨率引导特征和低分辨率深度特征作为输入，利用最终的高分辨率引导特征引导最终的低分辨率深度特征进行解码，生成第一高分辨率深度特征；
8、采用基于隐式自注意力的内部隐式transformer，以最终的低分辨率深度特征作为输入进行解码，生成第二高分辨率深度特征；
9、步骤6、利用第一高分辨率深度特征和第二高分辨率深度特征进行拼接后，送入全连接层生成高分辨率深度残差图像；将低分辨率深度图像双三次插值上采样得到的目标深度图的低频成分，将高分辨率深度残差图像与目标深度图的低频成分相加，获得任意尺度超分辨率重建的深度图。
10、本专利技术还提出一种基于尺度感知隐函数的深度图超分辨率重建系统，其中，所述系统应用如上所述的基于尺度感知隐函数的深度图超分辨率重建方法，所述系统包括：
11、引导特征提取分支，用于：
12、利用卷积操作获取高分辨率引导图的浅层引导特征；
13、基于transformer，采用滑动窗口的方式分别对浅层引导特征进行深层特征提取；并在提取过程中，将窗口所获取图像块的位置信息以及尺度信息引入自注意力计算中学习尺度感知，以获取高分辨率引导特征；
14、深度超分辨率分支，用于：
15、利用卷积操作获取低分辨率深度图的浅层深度特征；
16、基于transformer，采用滑动窗口的方式分别对浅层深度特征进行深层特征提取；并在提取过程中，将窗口所获取图像块的位置信息以及尺度信息引入自注意力计算中学习尺度感知，以获取低分辨率深度特征；
17、双向隐式融合块，用于：
18、将高分辨率引导特征和低分辨率深度特征通过隐式交叉注意力进行相互融合，并进行双向更新，得到更新后的高分辨率引导特征和低分辨率深度特征；
19、编码器，用于：
20、以更新后的高分辨率引导特征和低分辨率深度特征作为输入，采用迭代的方式重复引导特征提取分支、深度超分辨率分支和双向隐式融合块部分的操作，得到最终的高分辨率引导特征和低分辨率深度特征；
21、解码器，用于：
22、采用基于隐式交叉注意力的外部隐式transformer，将最终的高分辨率引导特征和低分辨率深度特征作为输入，利用最终的高分辨率引导特征引导最终的低分辨率深度特征进行解码，生成第一高分辨率深度特征；
23、采用基于隐式自注意力的内部隐式transformer，以最终的低分辨率深度特征作为输入进行解码，生成第二高分辨率深度特本文档来自技高网...
【技术保护点】
1.一种基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤2中，基于Transformer，采用滑动窗口的方式分别对浅层引导特征和浅层深度特征进行深层特征提取；并在提取过程中，将窗口所获取图像块的位置信息以及尺度信息引入自注意力计算中学习尺度感知，以获取高分辨率引导特征和低分辨率深度特征的过程具体包括如下步骤：
3.根据权利要求2所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，引入尺度感知位置编码对每个窗口内的令牌进行自注意力计算的过程存在如下关系式：
4.根据权利要求3所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤3中，将高分辨率引导特征和低分辨率深度特征通过隐式交叉注意力进行相互融合，并进行双向更新，得到更新后的高分辨率引导特征和低分辨率深度特征的过程具体包括如下步骤：
5.根据权利要求4所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，利用第一查询、第一键、
6.根据权利要求5所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤5中，采用基于隐式交叉注意力的外部隐式Transformer，将最终的高分辨率引导特征和低分辨率深度特征作为输入，利用最终的高分辨率引导特征引导最终的低分辨率深度特征进行解码，生成第一高分辨率深度特征具体包括如下步骤：
7.根据权利要求6所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤5中，采用基于隐式自注意力的内部隐式Transformer，以最终的低分辨率深度特征作为输入进行解码，生成第二高分辨率深度特征具体包括如下步骤：
8.根据权利要求7所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，所述方法通过神经网络模型实现，神经网络模型对应的训练步骤具体如下：
9.根据权利要求8所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，获取训练数据的方法具体包括如下步骤：
10.一种基于尺度感知隐函数的深度图超分辨率重建系统，其特征在于，所述系统应用如权利要求1至9任意一项所述的基于尺度感知隐函数的深度图超分辨率重建方法，所述系统包括：
...【技术特征摘要】
1.一种基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤2中，基于transformer，采用滑动窗口的方式分别对浅层引导特征和浅层深度特征进行深层特征提取；并在提取过程中，将窗口所获取图像块的位置信息以及尺度信息引入自注意力计算中学习尺度感知，以获取高分辨率引导特征和低分辨率深度特征的过程具体包括如下步骤：
3.根据权利要求2所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，引入尺度感知位置编码对每个窗口内的令牌进行自注意力计算的过程存在如下关系式：
4.根据权利要求3所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，在所述步骤3中，将高分辨率引导特征和低分辨率深度特征通过隐式交叉注意力进行相互融合，并进行双向更新，得到更新后的高分辨率引导特征和低分辨率深度特征的过程具体包括如下步骤：
5.根据权利要求4所述的基于尺度感知隐函数的深度图超分辨率重建方法，其特征在于，利用第一查询、第一键、第一值进行隐式交叉注意力计算，并在注意力计算过程中引入第一尺度感知位置编码，得到第一隐式...
【专利技术属性】
技术研发人员：左一帆，黄慧敏，王智，鄢杰斌，夏雪，陈强，方玉明，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。