图像超分辨率重建方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像超分辨率重建方法、装置、计算机设备及存储介质。首先将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其次通过第一轻量级特征提取模块对浅层图像特征进行特征提取，得到第一深层图像特征；然后通过细粒度稀疏掩码分支对第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；接着通过鬼影特征提取分支，基于细粒度稀疏掩码以及第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；最后根据初始分辨率图像、浅层图像特征以及第二深层图像特征进行超分辨率重建，得到目标分辨率图像。实现所有通道上使用统一掩码的方式的改进。进。进。

【技术实现步骤摘要】
图像超分辨率重建方法、装置、计算机设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种图像超分辨率重建方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着图像处理技术的发展，出现了一种用于将观察到的低分辨率图像重建出相应的高分辨率图像，来提高原有图像分辨率的图像超分辨率处理技术，该技术可以满足图像高清显示的需求，因此在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
[0003]相关技术中，可以通过使用掩码的方式跳过不必要的计算。然而，在所有通道上使用统一掩码的方式有待改进。

技术实现思路

[0004]本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种图像超分辨率重建方法、装置、计算机设备及存储介质。
[0005]本说明书实施方式提供一种图像超分辨率重建方法，所述方法包括：将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
[0006]在其中一个实施方式，所述根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像，包括：根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。
[0007]在其中一个实施方式，所述线性激活模块包括第二简易线性块和激活模块；所述将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征，包括：通过所述第二简易线性块对所述初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征；通过所述激活模块对所述高维图像特征进行操作，得到所述浅层图像特征。
[0008]在其中一个实施方式，采用以下公式得到所述细粒度稀疏掩码，包括：若当前元素的大于预设数值，生成掩码1，若当前元素的不大于所述预设数值，生成掩码0；其中，表示所述细粒度稀疏掩码分支的软输出，表示从Gumbel（0，1）分布中采样的噪声，为权衡参数，表示Sigmoid激活函数。
[0009]在其中一个实施方式，所述通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，包括：利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特征；对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。
[0010]在其中一个实施方式，所述基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征，包括：对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，的取值范围为不大于1；基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。
[0011]在其中一个实施方式，所述超分辨率重建模型的生成过程，包括：对第一分辨率图像进行双三次插值，得到第二分辨率图像；其中，所述第二分辨率图像的分辨率低于所述第一分辨率图像的分辨率；对所述第二分辨率图像进行图像增强处理，得到训练图像样本集；基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块；其中，所述轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；所述细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，所述鬼影特征提取分支用于提取所述第二分辨率图像中紧凑的鬼影特征；将多个所述轻量级特征提取模块依次连接，构建初始模型；其中，所述轻量级特征提取模块的输入的每个通道被分配独立的掩码；利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模
型。
[0012]在其中一个实施方式，所述鬼影特征提取分支包括鬼影线性块，所述细粒度稀疏掩码分支包括第一简易线性块；其中，所述鬼影线性块包括相邻的第一卷积层和第二卷积层；所述第一简易线性块包括相邻的第三卷积层和第四卷积层；所述利用所述训练图像样本集对所述初始模型进行训练，得到所述超分辨率重建模型，包括：利用所述训练图像样本集对所述初始模型进行训练，直至满足模型停止训练条件；在所述初始模型完成训练之后，将所述第一卷积层和所述第二卷积层合并为一个卷积层，将所述第三卷积层和所述第四卷积层合并为一个卷积层，得到所述超分辨率重建模型。
[0013]本说明书实施方式提供一种图像超分辨率重建装置，所述装置包括：浅层特征获取模块，用于将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；第一深层提取模块，用于通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；元素掩码设置模块，用于通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；第二深层提取模块，用于通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；超分辨率重建模块，用于根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。
[0014]在其中一个实施方式，采用以下公式得到所述细粒度稀疏掩码，包括：若当前元素的大于预设数值，生成掩码1，若当前元素的不大于所述预设数值，生成掩码0；其中，表示所述细粒度稀疏掩码分支的软输出，表示从Gumbel（0，1）分布中采样的噪声，为权衡参数，表示Sigmoid激活函数。
[0015]在其中一个实施方式，所述第二深层提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，所述方法包括：将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征；其中，所述超分辨率重建模型还包括若干依次连接的第一轻量级特征提取模块和第二轻量级特征提取模块；所述第二轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；通过所述第一轻量级特征提取模块对所述浅层图像特征进行特征提取，得到第一深层图像特征；通过所述细粒度稀疏掩码分支对所述第一轻量级特征提取模块输出的第一深层图像特征中的每个元素进行掩码设置，得到对应的细粒度稀疏掩码；通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征；根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像；其中，所述初始分辨率图像的分辨率低于所述目标分辨率图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述根据所述初始分辨率图像、所述浅层图像特征以及所述第二深层图像特征进行超分辨率重建，得到目标分辨率图像，包括：根据所述第二深层图像特征与所述浅层图像特征进行残差连接，得到细节图像特征；通过第一简易线性块对所述细节图像特征进行维度降低处理，得到降维图像特征；基于所述初始分辨率图像与所述降维图像特征进行残差连接和上采样处理，得到所述目标分辨率图像。3.根据权利要求1所述的方法，其特征在于，所述线性激活模块包括第二简易线性块和激活模块；所述将初始分辨率图像输入至超分辨率重建模型的线性激活模块中，得到初始分辨率图像的浅层图像特征，包括：通过所述第二简易线性块对所述初始分辨率图像进行扩展输入的通道数处理，得到高维图像特征；通过所述激活模块对所述高维图像特征进行操作，得到所述浅层图像特征。4.根据权利要求1所述的方法，其特征在于，采用以下公式得到所述细粒度稀疏掩码，包括：若当前元素的大于预设数值，生成掩码1，若当前元素的不大于所述预设数值，生成掩码0；其中，表示所述细粒度稀疏掩码分支的软输出，表示从Gumbel（0，1）分布中采样的噪声，为权衡参数，表示Sigmoid激活函数。5.根据权利要求1所述的方法，其特征在于，所述通过所述鬼影特征提取分支，基于所述细粒度稀疏掩码以及所述第一深层图像特征进行鬼影特征提取，得到对应的第二深层图像特征，包括：利用所述第一深层图像特征与所述细粒度稀疏掩码进行逐点相乘，得到稀疏图像特
征；对所述稀疏图像特征进行稀疏卷积处理，得到卷积后的稀疏图像特征；利用所述卷积后的稀疏图像特征与所述第一深层图像特征进行相加处理，得到第一中间图像特征；基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一中间图像特征进行鬼影特征提取，得到所述第二深层图像特征，包括：对所述第一中间图像特征进行深度可分离卷积，将通道数鬼影率调整，并进行通道维度的残差连接，得到通道维度为C的第二中间图像特征；其中，的取值范围为不大于1；基于所述第二中间图像特征进行通道注意力分布处理和激活处理，得到所述第二深层图像特征。7.根据权利要求1至6任一项所述的方法，其特征在于，所述超分辨率重建模型的生成过程，包括：对第一分辨率图像进行双三次插值，得到第二分辨率图像；其中，所述第二分辨率图像的分辨率低于所述第一分辨率图像的分辨率；对所述第二分辨率图像进行图像增强处理，得到训练图像样本集；基于第二分辨率图像的边缘区域特征、纹理区域特征、平坦区域特征构建轻量级特征提取模块；其中，所述轻量级特征提取模块包括并行的细粒度稀疏掩码分支和鬼影特征提取分支；所述细粒度稀疏掩码分支用于生成当前轻量级特征提取模块的细粒度稀疏掩码，所述鬼影特征提取分支用于提取所述第二分辨率图像中紧凑的鬼影特征；将多...

【专利技术属性】
技术研发人员：赵旭，汪婧，李德建，刘晗，李正浩，崔丙锋，
申请(专利权)人：北京智芯微电子科技有限公司，
类型：发明
国别省市：