一种基于深度学习的深度图像超分辨率重建方法技术

本发明专利技术公开了一种基于深度学习的深度图像超分辨率重建方法，当上采样因子r＝2时，训练整个网络，包括：从不同的深度图像公开数据集中分别选取一定数量的深度图像；数据增强：深度卷积神经网络结构的设计：处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。本发明专利技术通过卷积神经网络的多路通道同时训练去生成高维特征图，保留了原始低分辨率图像的准确像素值，加速了整个网络的训练和收敛速度。

A Super-resolution Reconstruction Method for Depth Images Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的深度图像超分辨率重建方法
本专利技术属于计算机图像处理领域，具体为一种基于深度学习的深度图像超分辨率重建方法。
技术介绍
近年来，由于计算机视觉技术的发展，深度信息的获取和处理已成为热门研究方向之一。与传统二维彩色图片不同，深度图像包含了场景的深度信息，通过像素值大小直观反映了景物可见表面的几何形状和物体到相机的距离。因此，深度图像在三维重建、人体识别、机器人导航、文物保护、人机交互等领域都能得到广泛的应用。目前，深度图像超分辨率重建方法主要分为三类：彩色图片引导深度图像超分辨率重建方法、多幅深度图像融合超分辨率重建方法和基于学习的深度图像超分辨率重建方法。彩色图片引导深度图像超分辨率重建方法主要利用同场景高分辨彩色图像作为数据指导项，利用彩色信息来协助深度图像的重建。彩色图片引导深度图超分辨率重建方法需要获得精准匹配的同场景高分辨率彩色图像，当彩色图片不连续信息和深度图片不连续信息不一致时，易产生伪影，因此在实际运用中并不理想。多幅深度图像融合超分辨率重建方法指利用多幅深度图像的冗余信息，重构出高分辨率的深度图像。多幅深度图像融合超分辨率重建方法只利用了深度图像的内部信息，而输入深度图像由于分辨率较低，利用信息有限，重建效果一般。基于学习的深度图像超分辨率重建方法作为目前使用最广泛、重建效果最好的方法，又可以分为两类：第一类是先通过大量样本训练构造出低/高分辨率图像配对的数据集，形成字典，再经由字典和低分辨率图像重建出高分辨率深度图像。第二类是利用深度学习通过大量数据训练学习到低分辨率到高分辨率深度图的非线性映射关系，由这种映射关系对高分辨率深度图像进行重建。作为深度学习的代表算法之一，卷积神经网络(CNN)利用强大的非线性学习能力，通过网络训练不断缩小拟合图像和真实高分辨率图像的差值，从而实现较好的逼近效果，在图像领域应用广泛。
技术实现思路
为了克服现有技术的不足，得到更好的深度图像重建效果，本专利技术旨在提出一种基于深度卷积神经网络和非局部约束的深度图像超分辨率重建方法。为此，本专利技术采取的技术方案：一种基于深度学习的深度图像超分辨率重建方法，当上采样因子r＝2时，训练整个网络包括下列步骤：(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像。(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍。(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签。(3.1).将步长设置为42，将增强后的深度图片(即高分辨率深度图像)分块成42*42大小的子图像块，后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；(3.2).对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分。第一部分为亚像素卷积神经网络。这里定义了10层卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：output1＝F(D,{W,B})+D其中，D代表网络输入的原始低分辨率深度图像，output1表示网络输出，函数F即要学习的映射关系，W、B分别表示整个网络所训练得到的所有卷积层的权重和偏置，‘+D’表示残差连接；而各卷积层的输入输出关系可表示为：a[1]＝g(w[1]*D+b[1])a[i]＝g(w[i]*a[i-1]+b[i])其中，*操作代表卷积运算，上标i表示第i层，D代表网络输入的原始低分辨率深度图像，a[i]表示第i层卷积层的输出，w[i]、b[i]分别表示第i层卷积层所学习到的权重和偏置，函数g表示激活函数；第二部分为亚像素重建。将第一部分的输出值output1的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样。完成的这个功能的层命名为亚像素重建层。HR1＝ASS(output1)ASS即表示亚像素的组合，HR1为亚像素重建层组合后的输出结果。第三部分为非局部约束。对第二部分得到的HR1进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR。除此之外，本专利技术以最小化重建结果HR与真实深度图像HRtrue之间的差值来更新梯度，这里以最小均方差(MSE)作为损失函数：其中，LMSE表示最小均方差损失函数，N在这里表示样本数量，HR表示网络重建深度图像，HRtrue表示真实高分辨率深度图像；网络通过基于反向传播的梯度下降法来更新网络参数。(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。具体的，步骤4中的非局部约束：根据经典非局部均值运算算法，定义非局部约束的泛化公式为：其中，i为目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，y为输出特征映射，且x和y的大小相同。函数f代表位置索引i和所有j之间的标量关系，一元函数g代表在位置索引j处特征映射x的表示值。C(x)为归一化系数。为了简化运算，将函数g定义为线性嵌入形式：g(xj)＝Wgxj其中，Wg为需要学习的权值矩阵。函数f有多种形式，在这里定义为点乘式：f(xi,xj)＝θ(xi)Tφ(xj)其中，θ(xi)＝Wθxi，φ(xj)＝Wφxj。Wθ、Wφ为需要学习的权值矩阵，i为泛化公式中目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，上标T表示矩阵转置，此时归一化系数C(x)＝N，为了简化梯度计算，N定义为输入特征映射x的位置数；本专利技术的技术特点及效果：本专利技术针对实际生活中获取的深度图分辨率较低的问题，通过训练一个设计好的非局部约束下的卷积神经网络，解决了深度图的超分辨率问题，具有以下特点：(1)传统的低分辨率深度图像输入需对深度图像上采样，使其达到跟高分辨率深度图像一样大小时作为输入。本专利技术无需此步骤，可直接将低分辨率深度图像直接作为网络输入，通过卷积神经网络的多路通道同时训练去生成高维特征图避免了传统训练时先对低分辨率图像上采样来作为神经网络输入，保留了原始低分辨率图像的准确像素值而不引入一些由插值放大带来的不精确初值来作为初始值的问题。(2)亚像素卷积神经网络部分和非局部约束部分均引入了残差连接，加速了整个网络的训练和收敛速度。(3)本专利技术将亚像素重建和非局部约束均在深度学习框架中予以实现，保证了整个超分辨率重建流程能直接在网络中得以学习和训练。(4)本专利技术主要以上采样因子r＝2进行方法说明，且此方法也能很方便的运用在其他比例上的图像重建。(5)本专利技术对不同深度图像的超分辨率均有较好的结果，具有一定的普适性。附图说明图1是本专利技术的步骤流程图；图2是本专利技术所构建的卷积神经网络结构模型图；图3是实施例中上采样因子r＝2为例亚像素本文档来自技高网...

【技术保护点】
1.一种基于深度学习的深度图像超分辨率重建方法，其特征在于，当上采样因子r＝2时，训练整个网络，包括下列步骤：(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像；(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍；(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签；(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分；第一部分为亚像素卷积神经网络；定义了卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：第二部分为亚像素重建；将第一部分的网络输出的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；第三部分为非局部约束；对第二部分得到的亚像素重建层组合后的输出结果进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR；(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。...

【技术特征摘要】
1.一种基于深度学习的深度图像超分辨率重建方法，其特征在于，当上采样因子r＝2时，训练整个网络，包括下列步骤：(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像；(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍；(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签；(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分；第一部分为亚像素卷积神经网络；定义了卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：第二部分为亚像素重建；将第一部分的网络输出的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；第三部分为非局部约束；对第二部分得到的亚像素重建层组合后的输出结果进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR；(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。2.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法，其特征在于，步骤(3)包括以下步骤：(3.1)将步长设置为42，将增强后的深度图片分块成42*42大小的子图像块，后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；(3.2)对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。3.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法，其特征在于，步骤(4)具体的包括，整个网络主要分为三个部分；第一部分为亚像素卷积神经网络；定义了10层卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：output1＝F(D,{W...

【专利技术属性】
技术研发人员：董秀成，范佩佩，李滔，任磊，李亦宁，金滔，
申请(专利权)人：西华大学，
类型：发明
国别省市：四川,51