一种基于深度学习的偏振图像超分辨率重建方法技术

本发明专利技术公开一种基于深度学习的偏振图像超分辨率重建方法，可用于由低分辨率偏振图像重建出相应的高分辨率偏振图像。该方法包括：基于偏振相机采集高分辨率偏振图像，并进行预处理得到低分辨率偏振图像，制作数据集；通过浅层卷积神经网络融合特征信息；通过残差密集模块进行密集融合特征；利用升尺度模块将图像特征通道数放大到对应放大因子的倍数；通过输出模块得到超分辨率偏振图像；利用偏振感知与像素混合损失函数对神经网络进行优化。该方法基于深度学习卷积神经网络，构建了超分辨率重建神经网络模型，使用偏振感知与像素混合损失函数对神经网络进行训练优化，可将低分辨率偏振图像重建得到超分辨率偏振图像。振图像重建得到超分辨率偏振图像。振图像重建得到超分辨率偏振图像。

【技术实现步骤摘要】
一种基于深度学习的偏振图像超分辨率重建方法


[0001]本专利技术涉及偏振成像
，特别涉及一种基于深度学习的低分辨率偏振图像超分辨率重建方法。

技术介绍

[0002]偏振成像技术能够获取目标场景中的偏振信息，从而能够解决受环境制约下，目标信息难以用光强与波长信息表示的问题。目前造成常用的偏振成像系统分辨率较低的原因主要是成像系统的硬件限制导致分辨率较低，或是偏振图像在传输过程中为了保证传输速率和节省空间而对传输图像进行了降采样处理。为了重建得到高分辨率的偏振图像和获得更加精确的偏振信息，如线性偏振度、偏振角等，对偏振图像进行超分辨率重建具有重要意义。
[0003]目前，使用于传统非偏振图像的超分辨率重建方法主要分为三类：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法是根据原始图像的像素信息，生成重构已知像素点周围的其他像素点，常用的方法包括最近邻插值、双线性插值、双立方插值等。基于重建的方法是利用图像的先验知识，寻求高分辨率偏振图像到低分辨率偏振图像的退化模型并将其逆过程作用于低分辨率偏振图像得到超分辨率偏振图像。但是上述两类方法不能够充分利用图像中的特征信息，因此超分辨率重建后的效果并不理想，尤其是在针对高放大因子(如4倍及以上放大因子)，生成的图像会存在细节纹理模糊、边缘锯齿严重、噪声明显等问题。
[0004]基于深度学习的非偏振图像超分辨率重建已经成为超分辨率领域的研究热点，但是直接将目前的超分辨率重建神经网络用于偏振图像超分辨率重建中存在无法充分利用偏振信息、过多关注光强信息的恢复而忽略了偏振信息的恢复等问题，重建得到的偏振图像效果并不理想。

技术实现思路

[0005]本专利技术的目的是为了克服现有技术中的不足，解决低分辨率偏振图像超分辨率重建偏振信息难以恢复的问题，提供一种基于深度学习的偏振图像超分辨率重建方法。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种基于深度学习的偏振图像超分辨率重建方法，包括以下步骤：
[0008]S1.使用偏振相机拍摄得到单通道高分辨率的偏振图像A，对采集偏振图像A进行预处理，并构建数据集，将数据集按比例划分为训练集、测试集、验证集；
[0009]S2.搭建神经网络模型，并设置偏振感知与像素混合损失函数，利用数据集中的偏振特征信息和偏振像素信息；
[0010]S3.将数据集输入所述神经网络模型进行网络训练，得到超分辨率重建神经网络模型；
[0011]S4.使用超分辨率重建神经网络模型对测试集进行测试，从超分辨率重建神经网
络模型的输出层得到预先设置好放大因子的高分辨率的输出偏振图像。
[0012]进一步的，步骤S1中预处理过程如下，先将每一张偏振图像A按偏振方向拆分为四个子图，并合并成具有四个通道的高分辨率偏振图像B，通过裁剪使偏振图像B的长和宽都能被放大因子整除，再使用双立方插值降采样将偏振图像B缩小固定倍数得到四通道低分辨率的偏振图像C，最后将偏振图像C裁剪为32
×
32大小的图像块，对应4倍放大因子的偏振图像B裁剪为128
×
128大小的图像块，对应3倍放大因子的偏振图像B裁剪为96
×
96大小的图像块，将偏振图像B的图像块与偏振图像C的图像块作为图像对，构成数据集。
[0013]进一步的，所述神经网络模型包括：
[0014]浅层特征提取模块，包括两层卷积层，第一层卷积层由64个3
×
3的卷积核构成，第二层卷积层同样由64个3
×
3的卷积核构成；
[0015]16个残差密集模块，每个残差密集模块依次由3
×
3卷积层、线性修正单元ReLU函数、用于特征融合的连结层和1
×
1卷积层组成，每个残差密集模块中各层之间采用密集连接的方式进行特征组合，最终将每个残差密集模块前的输入与经过对应残差密集模块后的输出相加得到局部残差连接结果；
[0016]全局特征融合模块，依次包括用于特征融合的连结层、1
×
1卷积层和3
×
3卷积层；用于特征融合的连结层和1
×
1卷积层将从若干个残差密集模块中输出的所有特征进行融合，3
×
3卷积层进一步对融合结果进行特征提取；
[0017]全局残差学习模块，将浅层特征提取模块的第一层卷积层的输出与全局特征融合模块的输出相加，采用短路连接实现全局残差学习；
[0018]升尺度模块，包括5
×
5卷积层和3
×
3卷积层，能够将得到的粗分辨率特征升尺度到细分辨率特征，将特征信息的通道数放大到对应放大因子的倍数；
[0019]输出模块，包括亚像素卷积层和3
×
3卷积层，亚像素卷积层将特征信息的长和宽放大到对应放大因子的倍数，最后的3
×
3卷积层用于重构得到四通道高分辨率的偏振图像，得到最终的输出超分辨率偏振图像。
[0020]进一步的，步骤S3中训练神经网络模型的步骤如下：
[0021]首先将偏振图像C输入神经网络模型，使用浅层特征提取模块对四个偏振方向的偏振图像C进行特征提取融合，并将获得的特征信息传输到残差密集模块中，输出不同层次的特征信息；在全局特征融合模块对输出的不同层次的特征信息进行特征融合，并对融合后的特征再进行特征提取；在全局残差学习模块将得到的特征信息与浅层特征提取模块输出的特征信息相加得到低分辨率空间下的图像特征信息；将这些图像特征信息输入到升尺度模块，将特征信息的通道数提升到设定放大因子的倍数，并通过输出模块获得高分辨率空间下的超分辨率重建神经网络模型。
[0022]进一步的，所述偏振感知与像素混合损失函数包括总体像素损失、偏振像素损失和偏振感知损失，总体像素损失用于恢复光强信息，偏振像素损失用于恢复偏振信息，偏振感知损失用于提升偏振信息的感知效果。
[0023]进一步的，使用神经网络模型的输出偏振图像和四个通道的高分辨率偏振图像的像素值的均方误差作为总体像素损失；
[0024]使用自适应调整的线性偏振度图像与偏振角图像的像素值的均方误差作为偏振像素损失，其中按照线性偏振度与偏振角的均方误差大小分配权重，动态调整两者的权重；
[0025]使用预训练的VGG网络提取偏振图像特征，将三张相同的单通道线性偏振度图像叠加转化为三通道偏振度图像输入到神经网络模型中，提取输出偏振图像重构得到的线性偏振度图像与偏振图像A重构得到的线性偏振度图像的偏振特征，将二者的均方误差作为线性偏振度感知损失，对单通道偏振角图像同样进行上述操作，得到偏振角感知损失，将线性偏振度感知损失与偏振角感知损失结合得到偏振感知损失；
[0026]将以上总体像素损失、偏振像素损失和偏振感知损失按照经验获得的权重结合，形成最终的偏振感知与像素混合损失函数。
[0027]进一步的，通过调整神经网络模型的参数满足本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的偏振图像超分辨率重建方法，其特征在于，包括以下步骤：S1.使用偏振相机拍摄得到单通道高分辨率的偏振图像A，对采集偏振图像A进行预处理，并构建数据集，将数据集按比例划分为训练集、测试集、验证集；S2.搭建神经网络模型，并设置偏振感知与像素混合损失函数，利用数据集中的偏振特征信息和偏振像素信息；S3.将数据集输入所述神经网络模型进行网络训练，得到超分辨率重建神经网络模型；S4.使用超分辨率重建神经网络模型对测试集进行测试，从超分辨率重建神经网络模型的输出层得到预先设置好放大因子的输出偏振图像。2.根据权利要求书1所述的基于深度学习的偏振图像超分辨率重建方法，其特征在于，步骤S1中预处理过程如下，先将每一张偏振图像A按偏振方向拆分为四个子图，并合并成具有四个通道的高分辨率偏振图像B，通过裁剪使偏振图像B的长和宽都能被放大因子整除，再使用双立方插值降采样将偏振图像B缩小固定倍数得到四通道低分辨率的偏振图像C，最后将偏振图像C裁剪为32
×
32大小的图像块，对应4倍放大因子的偏振图像B裁剪为128
×
128大小的图像块，对应3倍放大因子的偏振图像B裁剪为96
×
96大小的图像块，将偏振图像B的图像块与偏振图像C的图像块作为图像对，构成数据集。3.根据权利要求书1所述的基于深度学习的偏振图像超分辨率重建方法，其特征在于，所述神经网络模型包括：浅层特征提取模块，包括两层卷积层，第一层卷积层由64个3
×
3的卷积核构成，第二层卷积层同样由64个3
×
3的卷积核构成；16个残差密集模块，每个残差密集模块依次由3
×
3卷积层、线性修正单元ReLU函数、用于特征融合的连结层和1
×
1卷积层组成，每个残差密集模块中各层之间采用密集连接的方式进行特征组合，最终将每个残差密集模块前的输入与经过对应残差密集模块后的输出相加得到局部残差连接结果；全局特征融合模块，依次包括用于特征融合的连结层、1
×
1卷积层和3
×
3卷积层；用于特征融合的连结层和1
×
1卷积层将从若干个残差密集模块中输出的所有特征进行融合，3
×
3卷积层进一步对融合结果进行特征提取；全局残差学习模块，将浅层特征提取模块的第一层卷积层的输出与全局特征融合模块的输出相加，采用短路连接实现全局残差学习；升尺度模块，包括5
×
5卷积层和3
×
3卷积层，能够将得到的粗分辨率特征升尺度到细分辨率特征，将特征信息的通道数放大到对应放大因子的倍数；输出模块，包括亚像素卷积层和3
×
3卷积...

【专利技术属性】
技术研发人员：胡浩丰，杨世瑶，李校博，翟京生，
申请(专利权)人：天津大学，
类型：发明
国别省市：