基于亚像素和梯度引导的光场图像超分辨率重建方法技术

本发明专利技术具体涉及基于亚像素和梯度引导的光场图像超分辨率重建方法，包括：将目标光场图像输入超分辨重建模型得到超分辨率重建图像；训练时：将低分辨率光场图像和对应的梯度阵列作为模型输入；提取低分辨率光场图像和对应梯度阵列的多重亚像素特征；对光场和梯度多重亚像素特征进行特征表示增强；对光场和梯度多重亚像素增强特征进行特征融合得到多重亚像素融合特征；基于多重亚像素融合特征进行超分辨率重建，并将低分辨率光场图像经过双三次插值后与重建图像相加生成超分辨率重建图像；计算训练损失并优化模型参数直至收敛

【技术实现步骤摘要】
基于亚像素和梯度引导的光场图像超分辨率重建方法


[0001]本专利技术涉及光场图像超分辨率重建
，具体涉及基于亚像素和梯度引导的光场图像超分辨率重建方法
。

技术介绍

[0002]光场同时包含了场景的空间信息和角度信息，在计算机视觉和计算机图形学等领域具有广泛的应用前景，可用于目标检测
、
深度估计和三维
(Three Dimension,3D)
重建等
。
光场作为一种高维数据，在
3D
世界中很难被表示出来，需要特殊的光场相机来记录
。
与普通相机相比，光场相机在主透镜和图片传感器之间嵌入了一个微透镜阵列，从多个角度同时记录空间光线的方向和强度，能为用户提供更为丰富的场景和运动信息
。
由于受到光场相机中微透镜阵列的限制，获取到的光场图像分辨率普遍较低，阻碍了光场的应用，因此出现了大量关于光场图像超分辨率
(Super
‑
Resolution,SR)
的研究
。
[0003]现有的光场图像
SR
方法主要分为基于传统的
SR
方法和基于深度学习的
SR
方法
。
传统的光场图像
SR
方法根据光场视点图像视差和像素点之间的对应关系，利用先验的视差信息对视点图像像素信息进行显式投影来达到
SR
的目的
。
但视差先验信息严重依赖视点图像本身的质量，现有的视差估计方法通常不能满足这类方法对视差先验信息的高精确度要求
。
基于深度学习的光场图像
SR
方法无需先验的视差信息，通过构建从低分辨率图像到高分辨率图像的映射关系，能够直接通过网络学习光场信息达到良好的
SR
质量
。
[0004]光场图像中物体的形状和位置会随视图角度的不同而变化，因此光场图像中各视图间存在着像素差异性，这种差异主要体现在像素的光线方向和强度的差异，在
SR
过程中忽略这些差异将导致重建图像出现伪影
、
失真
。
然而，现有基于深度学习的方法主要通过级联多个卷积层获得大的感受野来覆盖差异范围，不能很好地解决光场图像
SR
时各视图之间的像素差异性问题
。
同时，光场图像
SR
过程存在细节丢失的问题，现有大部分方法在重建过程中没有注意保护边缘细节，导致光场图像超分辨率重建的效果和质量不好
。
因此，如何提高光场图像超分辨率重建的效果和质量是亟需解决的技术问题
。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种基于亚像素和梯度引导的光场图像超分辨率重建方法，能够通过多重亚像素信息来弥补光场中的像素差异性，并且能够通过梯度先验来引导超分辨重建以保护重建图像的边缘纹理细节，从而提高光场图像超分辨率重建的效果和质量
。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0007]基于亚像素和梯度引导的光场图像超分辨率重建方法，包括：
[0008]S1
：获取待重建的目标光场图像；
[0009]S2
：将目标光场图像输入训练后的超分辨重建模型，输出对应的超分辨率重建图像；
[0010]通过如下步骤训练超分辨重建模型：
[0011]S201
：首先将用作样本的高分辨率光场图像转换为低分辨率光场图像；然后提取低分辨率光场图像的梯度图，得到对应的梯度阵列；最后将低分辨率光场图像和对应的梯度阵列作为模型输入；
[0012]S202
：分别通过多重亚像素信息提取模块提取低分辨率光场图像和对应梯度阵列的多重亚像素特征，得到对应的光场多重亚像素特征和梯度多重亚像素特征；
[0013]S203
：分别通过增强模块对光场多重亚像素特征和梯度多重亚像素特征进行特征表示增强，得到对应的光场多重亚像素增强特征和梯度多重亚像素增强特征；
[0014]S204
：通过融合模块对光场多重亚像素增强特征和梯度多重亚像素增强特征进行特征融合，得到对应的多重亚像素融合特征；
[0015]S205
：通过重建模块基于多重亚像素融合特征进行超分辨率重建，得到重建图像；然后将低分辨率光场图像经过双三次插值后与重建图像相加，生成对应的超分辨率重建图像；
[0016]S206
：根据超分辨率重建图像和用作样本的高分辨率光场图像计算训练损失，并基于训练损失优化超分辨重建模型的参数；
[0017]S207
：重复步骤
S201
至步骤
S206
，直至超分辨重建模型收敛；
[0018]S3
：将输出的超分辨率重建图像作为目标光场图像的超分辨率重建结果
。
[0019]优选的，将低分辨率光场图像或梯度阵列分别按水平
、
垂直
、
对角和反对角方向叠加成四个图像堆并输入多重亚像素信息提取模块：首先分别提取四个图像堆的亚像素特征信息；然后将各个图像堆的亚像素特征信息进行连接，得到全局亚像素特征；最后对全局亚像素特征进行降维和特征对齐，得到对应的多重亚像素特征
。
[0020]优选的，多重亚像素信息提取模块包括分别将四个图像堆作为输入且用于提取亚像素特征信息的四个特征多重亚像素信息提取模块
、
用于将四个特征多重亚像素信息提取模块输出的亚像素特征信息连接的连接模块
、
用于对连接得到的全局亚像素特征进行降维的
3D
卷积模块，以及用于对降维后的全局亚像素特征进行特征对齐的角度对齐模块；角度对齐模块的输出为对应的多重亚像素特征
。
[0021]优选的，特征多重亚像素信息提取模块包括依次首尾连接的一个
3D
卷积层和四个堆叠的残差块，且将第一个残差块的输入和最后一个残差块的输出进行求和操作后作为特征多重亚像素信息提取模块输出的亚像素特征信息；各个残差块均包括依次首尾连接的
PReLu
激活层和
3D
卷积层，且将
PReLu
激活层的输入与
3D
卷积层的输出进行求和操作
。
[0022]优选的，将光场多重亚像素特征或梯度多重亚像素特征转换为对应的特征序列后输入增强模块：首先提取特征序列的亚像素空间特征；然后基于亚像素空间特征生成对应的查询矩阵
、
关键字矩阵和值矩阵，并根据三个矩阵生成空间特征图；最后将空间特征图与输入的特征序列相加，得到对应的多重亚像素增强特征
。
[0023]优选的，增强模块包括如下处理步骤：
[0024]S2031
：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于亚像素和梯度引导的光场图像超分辨率重建方法，其特征在于，包括：
S1
：获取待重建的目标光场图像；
S2
：将目标光场图像输入训练后的超分辨重建模型，输出对应的超分辨率重建图像；通过如下步骤训练超分辨重建模型：
S201
：首先将用作样本的高分辨率光场图像转换为低分辨率光场图像；然后提取低分辨率光场图像的梯度图，得到对应的梯度阵列；最后将低分辨率光场图像和对应的梯度阵列作为模型输入；
S202
：分别通过多重亚像素信息提取模块提取低分辨率光场图像和对应梯度阵列的多重亚像素特征，得到对应的光场多重亚像素特征和梯度多重亚像素特征；
S203
：分别通过增强模块对光场多重亚像素特征和梯度多重亚像素特征进行特征表示增强，得到对应的光场多重亚像素增强特征和梯度多重亚像素增强特征；
S204
：通过融合模块对光场多重亚像素增强特征和梯度多重亚像素增强特征进行特征融合，得到对应的多重亚像素融合特征；
S205
：通过重建模块基于多重亚像素融合特征进行超分辨率重建，得到重建图像；然后将低分辨率光场图像经过双三次插值后与重建图像相加，生成对应的超分辨率重建图像；
S206
：根据超分辨率重建图像和用作样本的高分辨率光场图像计算训练损失，并基于训练损失优化超分辨重建模型的参数；
S207
：重复步骤
S201
至步骤
S206
，直至超分辨重建模型收敛；
S3
：将输出的超分辨率重建图像作为目标光场图像的超分辨率重建结果
。2.
如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法，其特征在于：步骤
S202
中，将低分辨率光场图像或梯度阵列分别按水平
、
垂直
、
对角和反对角方向叠加成四个图像堆并输入多重亚像素信息提取模块：首先分别提取四个图像堆的亚像素特征信息；然后将各个图像堆的亚像素特征信息进行连接，得到全局亚像素特征；最后对全局亚像素特征进行降维和特征对齐，得到对应的多重亚像素特征
。3.
如权利要求2所述的基于亚像素和梯度引导的光场图像超分辨率重建方法，其特征在于：多重亚像素信息提取模块包括分别将四个图像堆作为输入且用于提取亚像素特征信息的四个特征多重亚像素信息提取模块
、
用于将四个特征多重亚像素信息提取模块输出的亚像素特征信息连接的连接模块
、
用于对连接得到的全局亚像素特征进行降维的
3D
卷积模块，以及用于对降维后的全局亚像素特征进行特征对齐的角度对齐模块；角度对齐模块的输出为对应的多重亚像素特征
。4.
如权利要求3所述的基于亚像素和梯度引导的光场图像超分辨率重建方法，其特征在于：特征多重亚像素信息提取模块包括依次首尾连接的一个
3D
卷积层和四个堆叠的残差块，且将第一个残差块的输入和最后一个残差块的输出进行求和操作后作为特征多重亚像素信息提取模块输出的亚像素特征信息；各个残差块均包括依次首尾连接的
PReLu
激活层和
3D
卷积层，且将
PReLu
激活层的输入与
3D
卷积层的输出进行求和操作
。5.
如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法，其特征在于：步骤
S203
中，将光场多重亚像素特征或梯度多重亚像素特征转换为对应的特征序列后输入增强模块：首先提取特征序列的亚像素空间特征；然后基于亚像素空间特征生成对应的查询矩阵
、
关键字矩阵和值矩阵，并根据三个矩阵生成空间特征图；最后将空间特征图
与输入的特征序列相加，得到对应的多重亚像素增强特征
。6.
如权利要求5所述的基于亚像素和梯度引导的光场图像超分辨率重建方...

【专利技术属性】
技术研发人员：彭宗举，韦玮，陈芬，张鹏，张华波，罗英国，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：