【技术实现步骤摘要】
本专利技术涉及图像超分辨率重建领域，更具体地，涉及一种图像重建方法、模型训练方法、装置、设备、介质及产品。
技术介绍
1、盲图像超分辨率是指在不清楚图像退化降质具体原因的情况下，对低分辨率图像进行超分辨以得到高分辨率图像。相关技术通过提取低分辨率图像中退化信息的隐式特征表示，并将隐式退化特征融入低分辨率图像特征，从而以融合退化信息的低分辨率图像特征为基础生成对应的高分辨率图像。
2、在实现本专利技术构思的过程中，专利技术人发现相关技术中至少存在如下问题，在将隐式退化特征融入到低分辨率图像特征的过程中，相关技术通过对适配单元进行堆叠以实现特征的融入，但是上述融入方法存在特征适配不够充分且计算量大的问题，导致图像的超分辨率效果不够理想，图像重建效率较低。
技术实现思路
1、有鉴于此，本专利技术提供了一种图像重建方法、模型训练方法、装置、设备、介质及产品。
2、本专利技术的一个方面提供了一种图像重建方法，包括：对存在质量损失的退化图像进行特征提取，得到表征图像底层细节的底层图像特征和表征图像退化信息的隐式退化特征；利用隐式退化特征调节器分别对上述隐式退化特征进行通道级和空间级的扩展；将扩展后的隐式退化特征融入到上述底层图像特征中，分别得到融合了上述图像退化信息的通道图像特征和空间图像特征；将上述通道图像特征和上述空间图像特征进行特征融合并引入上述底层图像特征，以对上述退化图像的高频细节进行恢复；将进行细节恢复后得到的图像特征输入图像超分辨率模块中，输出重建的目标图
3、根据本专利技术的实施例，上述利用隐式退化特征调节器分别对上述隐式退化特征进行通道级和空间级的扩展，包括：在上述隐式退化特征调节器的通道转换分支中对上述隐式退化特征进行全局平均池化操作；将池化结果送入上述通道转换分支的全连接层中进行非线性变换，得到对上述隐式退化特征进行通道级扩展后的通道退化特征；在上述隐式退化特征调节器的空间转换分支中利用亚像素卷积层将上述隐式退化特征上采样到与上述退化图像相同的大小；将上采样后的特征图输入上述空间转换分支的卷积层中，得到对上述隐式退化特征进行空间级扩展后的空间退化特征。
4、根据本专利技术的实施例，上述将扩展后的隐式退化特征融入到上述底层图像特征中，分别得到融合了上述图像退化信息的通道图像特征和空间图像特征，包括：将上述通道退化特征和上述底层图像特征输入隐式退化特征适配单元的通道适配分支中，以在将上述图像退化信息融入到上述底层图像特征中，得到上述通道图像特征；将上述空间退化特征和上述底层图像特征输入隐式退化特征适配单元的空间适配分支中，以将上述图像退化信息融入到上述底层图像特征中，得到上述空间图像特征。
5、根据本专利技术的实施例，上述通道适配分支中包括全局池化层、全连接层和深度可分离卷积层，上述将上述通道退化特征和上述底层图像特征输入隐式退化特征适配单元的通道适配分支中，以在将上述图像退化信息融入到上述底层图像特征中，得到上述通道图像特征，包括：利用上述全局池化层对上述底层图像特征的形状进行调整；将上述通道退化特征和池化后的上述底层图像特征输入两个上述全连接层中；将两个上述全连接层输出的结果进行元素级相加；利用归一化函数对相加后的特征进行归一化处理；将归一化处理后的特征与上述底层图像特征进行元素级相乘，以将归一化处理后的特征融入到上述底层图像特征中；利用上述深度可分离卷积层对融合后的特征进行非线性变换，得到上述通道图像特征。
6、根据本专利技术的实施例，上述将上述空间退化特征和上述底层图像特征输入隐式退化特征适配单元的空间适配分支中，以将上述图像退化信息融入到上述底层图像特征中，得到上述空间图像特征，得到上述空间图像特征，包括：利用上述空间适配分支中的两个卷积层对上述空间退化特征进行调制；利用归一化函数对调制后的特征进行归一化处理；将归一化处理后的特征与上述底层图像特征进行元素级相乘，以将归一化处理后的特征融入到上述底层图像特征中，得到上述空间图像特征。
7、根据本专利技术的实施例，上述将上述通道图像特征和上述空间图像特征进行特征融合并引入上述底层图像特征，以对上述退化图像的高频细节进行恢复，包括：对上述通道图像特征和上述空间图像特征进行元素级相加；将相加后的特征输入卷积块中进行特征融合；将上述底层图像特征与上述卷积块输出的融合后的特征进行元素级相加，得到细节恢复后的图像特征。
8、本专利技术的另一个方面提供了一种模型训练方法，包括：将样本退化图像输入盲图像超分辨率模型中，输出预测目标图像，其中，上述预测目标图像是根据上述样本退化图像的底层图像特征和隐式退化特征重建得到的；计算上述预测目标图像与上述样本退化图像之间的损失，得到损失值；根据上述损失值，利用随机梯度下降算法对上述盲图像超分辨率模型的模型参数进行更新；在对上述模型参数的更新次数达到预设次数的情况下，输出基于隐式退化特征引导的盲图像超分辨率模型。
9、本专利技术的另一个方面提供了一种图像重建装置，包括：特征提取模块，用于对存在质量损失的退化图像进行特征提取，得到表征图像底层细节的底层图像特征和表征图像退化信息的隐式退化特征；特征扩展模块，用于利用隐式退化特征调节器分别对上述隐式退化特征进行通道级和空间级的扩展；特征融合模块，用于将扩展后的隐式退化特征融入到上述底层图像特征中，分别得到融合了上述图像退化信息的通道图像特征和空间图像特征；特征恢复模块，用于将上述通道图像特征和上述空间图像特征进行特征融合并引入上述底层图像特征，以对上述退化图像的高频细节进行恢复；图像重建模块，用于将进行细节恢复后得到的图像特征输入图像超分辨率模块中，输出重建的目标图像，其中，上述目标图像的分辨率高于上述退化图像。
10、本专利技术的另一个方面提供了一种模型训练装置，包括：图像预测模块，用于将样本退化图像输入盲图像超分辨率模型中，输出预测目标图像，其中，上述预测目标图像是根据上述样本退化图像的底层图像特征和隐式退化特征重建得到的；损失计算模块，用于计算上述预测目标图像与上述样本退化图像之间的损失，得到损失值；参数更新模块，用于根据上述损失值，利用随机梯度下降算法对上述盲图像超分辨率模型的模型参数进行更新；模型输出模块，用于在对上述模型参数的更新次数达到预设次数的情况下，输出基于隐式退化特征引导的盲图像超分辨率模型。
11、本专利技术的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。
12、本专利技术的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
13、本专利技术的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
14、根据本专利技术的实施例，通过对隐式退化特征进行通道级和空本文档来自技高网...
【技术保护点】
1.一种图像重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用隐式退化特征调节器分别对所述隐式退化特征进行通道级和空间级的扩展，包括：
3.根据权利要求2所述的方法，其特征在于，所述将扩展后的隐式退化特征融入到所述底层图像特征中，分别得到融合了所述图像退化信息的通道图像特征和空间图像特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述通道适配分支中包括全局池化层、全连接层和深度可分离卷积层，所述将所述通道退化特征和所述底层图像特征输入隐式退化特征适配单元的通道适配分支中，以在将所述图像退化信息融入到所述底层图像特征中，得到所述通道图像特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述空间退化特征和所述底层图像特征输入隐式退化特征适配单元的空间适配分支中，以将所述图像退化信息融入到所述底层图像特征中，得到所述空间图像特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述通道图像特征和所述空间图像特征进行特征融合并引入所述底层图像特征，以对所述退化图像的高频细
7.一种模型训练方法，其特征在于，包括：
8.一种图像重建装置，其特征在于，包括：
9.一种模型训练装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至6中任一项或者权利要求7所述的方法。
12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项或者权利要求7所述的方法。
...【技术特征摘要】
1.一种图像重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用隐式退化特征调节器分别对所述隐式退化特征进行通道级和空间级的扩展，包括：
3.根据权利要求2所述的方法，其特征在于，所述将扩展后的隐式退化特征融入到所述底层图像特征中，分别得到融合了所述图像退化信息的通道图像特征和空间图像特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述通道适配分支中包括全局池化层、全连接层和深度可分离卷积层，所述将所述通道退化特征和所述底层图像特征输入隐式退化特征适配单元的通道适配分支中，以在将所述图像退化信息融入到所述底层图像特征中，得到所述通道图像特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述空间退化特征和所述底层图像特征输入隐式退化特征适配单元的空间适配分支中，以将所...
【专利技术属性】
技术研发人员：王博，罗冠，王有文，赵鹏鹏，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。