【技术实现步骤摘要】
本专利技术属于图像复原，更具体地，涉及一种基于双分支频率与空间融合的轻量化社交平台图像复原方法、系统及可读存储介质。
技术介绍
1、在社交媒体平台广泛普及的背景下，人们越来越多地使用手持设备与朋友交流、分享动态并参与互动的身影。然而，当这些图像被上传到社交媒体平台时，往往会受到各种压缩伪影以及不可预测的噪声退化的影响，导致图像质量显著下降。因此，如何在实现优异视觉效果的同时，有效降低计算复杂度并加速推理时间，为用户在移动设备上提供更为流畅和高效的使用体验成为一项重要且有意义的任务。近年来，众多基于卷积神经网络(cnn)的超分辨率(sr)模型探索了多种方法来降低模型复杂度。例如，fsrcnn和espcn采用后上采样策略预定义输入，从而减少计算负担。shufflemixer通过利用大核卷积和通道混洗技术减少模型复杂度和延迟。bsrn通过替换标准卷积为精心设计的深度可分离卷积，并通过整合两种有效的注意力机制增强模型能力。空间自适应特征混合网络通过整合卷积和自注意力的原则开发了一种有效的sr模型。虽然这些方法在模型效率上取得了实质性进展，但在重建性能上仍有进一步提升的潜力。处理计算效率与性能提升之间的权衡是一个重要且前景广阔的研究领域。
2、盲超分技术也是解决这类问题的关键方法。盲超分技术(blind sr)一般旨在从未知退化的低分辨率图像中恢复出高分辨率图像，它不需要提前知道图像退化的具体类型或程度，能够应对复杂和多样化的退化情况，在图像复原和提升视觉质量方面具有重要作用，特别适用于无法精确建模退化过程的场景。大多数方法通
3、现有技术公开号为cn118822846a的专利技术专利提出了一种提升基于双分支频率与空间融合的轻量化社交平台图像复原的方法，属于基于双分支频率与空间融合的轻量化社交平台图像复原领域，包括：选取合适的图像数据集；按合适比例对数据集进行划分；对浅层特征提取模块进行改进；对深层特征提取模块进行相应的改进，采用多尺度特征提取模块对特征图进行特征提取，增强网络的特征提取能力；采用改进的高效通道注意力网络用于计算特征图各个通道的重要性，提升算法的特征表达能力；采用多层次特征融合机制来加强网络对中间层特征信息的利用，增强算法的重建能力；设置训练相关参数，训练模型，保存权重；加载验证集损失函数最小的训练权重，测试模型重建性能。该方案在一定程度上能够提高重建图像的质量，获得更加真实的超分辨率图像。但是其准确性和模型训练的高效性仍有待提高。
技术实现思路
1、本专利技术为克服现有技术中如何提高图像复原网络的准确性与高效性的问题，提供了一种基于双分支频率与空间融合的轻量化社交平台图像复原方法、系统及可读存储介质。
2、本专利技术第一方面提供了一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，包括以下步骤：
3、将训练数据裁剪成小图像块，利用预设的二阶退化模型处理小图像块，得到低分辨率图像块，作为训练数据集；
4、以预设的轻量化复原网络作为生成器，以基于频率域的判别式门控网络作为判别器，构成基于双分支频率与空间融合的轻量化社交平台图像复原网络模型；
5、利用训练数据集对基于双分支频率与空间融合的轻量化社交平台图像复原网络模型进行训练，所述生成器用于将待处理图像转化为高质量图像，所述判别器用于在模型训练时对生成器生成的高质量图像进行判别，将判别结果进行反馈，并用于对生成器进行调整；
6、将低质量图像输入训练完成的基于双分支频率与空间融合的轻量化社交平台图像复原网络模型进行图像复原，得到高质量图像。
7、进一步地，所述预设的二阶退化模型，包括：两个模糊模块，两个尺寸调整模块，两个加噪模块，两个混合压缩模块，其中，混合压缩模块的构造方法为：在real-esrgan合成退化算法的基础上，结合jpeg压缩方法和基于预测的算法，构建混合压缩模块；降低混合压缩模块中real-esrgan算法的默认参数的强度，得到调整后的混合压缩模块；
8、利用预设的二阶退化模型处理小图像块，包括以下步骤：
9、将小图像块依次输入第一模糊模块、第一尺寸调整模块、第一加噪模块，输出加噪后的图像块，将加噪后的图像块输入第一混合压缩模块，输出处理过的小图像块；
10、将处理过的小图像块依次输入第二模糊模块，第二尺寸调整模块、第二加噪模块，得到加噪后的图像块，将加噪后的图像块输入第二混合压缩模块，输出低分辨率图像块。
11、进一步地，所述预设的轻量化复原网络包括：卷积核、若干个并联的双分支频率和空间域基的特征融合模块、上采样模块，将待处理图像依次通过卷积核、若干个并联的双分支频率和空间域基的特征融合模块、上采样模块，输出高质量图像。
12、进一步地，所述双分支频率和空间域基的特征融合模块包括并行运行的空间自适应特征混合网络和频率域基判别式门控网络，空间自适应特征混合网络用于提取图像特征的空间特征，频率域基判别式门控网络用于提取图像特征的频率特征。
13、进一步地，所述将待处理图像转化生成高质量图像的方法，包括以下步骤：
14、将待处理图像输入卷积核进行卷积，输出图像初级特征；
15、将图像初级特征输入空间自适应特征混合网络，输出空间域的空间特征；将图像初级特征输入频率域基判别式门控网络，输出频域的频率特征；
16、将空间域的空间特征和频域的频率特征进行融合，得到融合特征；
17、将融合特征输入上采样模块，利用残差连接来捕捉图像的高频细节，得到高质量图像。
18、进一步地，所述利用频率域基判别式门控网络从图像初级特征中提取频域的频率特征，包括以下步骤：
19、对输入的图像初级特征x过1×1逐点卷积，以加倍通道数，利用3×3深度卷积编码空间局部上下文，表达式为：
20、x1＝dw_conv3x3(conv1x1(x))
21、其中，x1表示过1x1卷积和3x3深度卷积之后的特征，conv1x1(·)表示1×1逐点卷积，dw_conv3x3(·)表示3×3深度卷积；
22、将特征转换到频域，利用快速傅里叶变换沿通道维度将特征分割成两个独立的分量，表达式为：
23、xf＝f(x1)
24、
25、其中，xf表示通过快速傅里叶变化后转换到频域的特征，表示沿通道维度分割后的特征，f(·)表示快速傅里叶变化，split(·)表示通道分割操作；
26、对分割后的一个分量应用1×1逐点卷积，并将所述卷积结果作为第二个分量的门控，以选择性地保留相关的频率信息，表达式为：本文档来自技高网...
【技术保护点】
1.一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述预设的二阶退化模型，包括：两个模糊模块，两个尺寸调整模块，两个加噪模块，两个混合压缩模块，其中，混合压缩模块的构造方法为：在Real-ESRGAN合成退化算法的基础上，结合JPEG压缩方法和基于预测的算法，构建混合压缩模块；降低混合压缩模块中Real-ESRGAN算法的默认参数的强度，得到调整后的混合压缩模块；
3.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述预设的轻量化复原网络包括：卷积核、若干个并联的双分支频率和空间域基的特征融合模块、上采样模块；利用预设的轻量化复原网络处理图像的方法，包括以下步骤：
4.根据权利要求3所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述双分支频率和空间域基的特征融合模块包括并行运行的空间自适应特征混合网络和频率域基判别式门控网络，空间自适应特征
5.根据权利要求4所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，将待处理图像转化生成高质量图像的方法，包括以下步骤：
6.根据权利要求5所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，利用频率域基判别式门控网络从图像初级特征中提取频域的频率特征，包括以下步骤：
7.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述基于频率域的判别式门控网络的构成方法为：在基于U-net型结构的判别器中的卷积模块和层归一化模块之间加入基于频率域的判别式门控模块，利用谱归一化模块替换层归一化模块。
8.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述基于双分支频率与空间融合的轻量化社交平台图像复原网络模型的训练策略是基于生成对抗网络的训练策略。
9.一种基于双分支频率与空间融合的轻量化社交平台图像复原系统，其特征在于，包括存储器和处理器，所述存储器中包括基于双分支频率与空间融合的轻量化社交平台图像复原方法程序，所述基于双分支频率与空间融合的轻量化社交平台图像复原方法程序被所述处理器执行时实现如权利要求1至8中任一项所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于双分支频率与空间融合的轻量化社交平台图像复原方法程序，所述基于双分支频率与空间融合的轻量化社交平台图像复原方法程序被处理器执行时，实现如权利要求1至8中任一项所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法的步骤。
...【技术特征摘要】
1.一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述预设的二阶退化模型，包括：两个模糊模块，两个尺寸调整模块，两个加噪模块，两个混合压缩模块，其中，混合压缩模块的构造方法为：在real-esrgan合成退化算法的基础上，结合jpeg压缩方法和基于预测的算法，构建混合压缩模块；降低混合压缩模块中real-esrgan算法的默认参数的强度，得到调整后的混合压缩模块；
3.根据权利要求1所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述预设的轻量化复原网络包括：卷积核、若干个并联的双分支频率和空间域基的特征融合模块、上采样模块；利用预设的轻量化复原网络处理图像的方法，包括以下步骤：
4.根据权利要求3所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，所述双分支频率和空间域基的特征融合模块包括并行运行的空间自适应特征混合网络和频率域基判别式门控网络，空间自适应特征混合网络用于提取图像初级特征的空间特征，频率域基判别式门控网络用于提取图像初级特征的频率特征。
5.根据权利要求4所述的一种基于双分支频率与空间融合的轻量化社交平台图像复原方法，其特征在于，将待处理图像转化生成高质量图像的方法，包括以下步骤：
6.根据权利要求5所述的一种基于双...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。