一种可变倍率的图像超分辨率网络模型制造技术

本发明专利技术公开了一种可变倍率的图像超分辨率网络模型，模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。本发明专利技术通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求；本发明专利技术提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。

An image super-resolution network model with variable magnification

【技术实现步骤摘要】
一种可变倍率的图像超分辨率网络模型
本专利技术属于数字图像处理
，涉及一种图像超分辨率网络模型，具体涉及一种可变倍率的图像超分辨率网络模型。技术背景深度学习技术促进了图像超分辨率(super-resolution，SR)重建性能的巨大跃升，但面向超分辨率重建的深度学习模型每次只能针对一种固定的放大倍数，如果要同时执行不同倍数的超分辨率任务，则需要训练多个对应不同放大倍数的深度学习网络模型。对于需要执行任意不确定放大倍率的应用而言，超分辨率网络的这种局限性制约了其实际应用范围。不确定放大倍率的超分辨率应用场景在现实中普遍存在，一种常见的场景是监控视频的人脸超分辨率识别，即通过超分辨率技术提升人脸的分辨率进而提高人脸识别系统的精度。由于监控目标距离摄像头远近不一，导致采集到人脸的分辨率也各不相同。将输入尺寸各异的低分辨率人脸图像提升到人脸识别器需要的统一高分辨率尺寸，就是一种典型的变倍率超分辨率处理任务。为不同放大倍数训练各自模型的方式繁琐而不切实际，一种替代方案是，先利用传统的图像插值方法，将不定尺寸的输入图像上采样到统一的最终尺寸，再进行恒等倍率的超分辨率重建。这种方式下，深度学习超分辨率模型不再是扩大空间分辨率，而是补充图像的细节信息。由于统一尺寸后的输入图像的原有细节丰富程度各不相同，需要超分辨率模型补充的细节增量故而也不固定，从而要求超分辨率网络具有强大的不等增量细节的学习能力，这对训练样本的多样性和网络的特征模式表达能力均提出了挑战。可见，对于可变放大倍率的超分辨率任务，当前的两种处理方式存在严重缺陷，为每种倍数训练对应网络模型的方式繁琐而不切实际；先插值到统一的分辨率再超分重建的方式忽略了不同分辨率输入图像在内容成份上的差异性，难以获得理想的重建效果。为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)的根源在于，现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，因此，有必要提出可变放大倍率的超分辨率网络模型，满足任意尺度输入的要求。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种可变倍率的图像超分辨率网络模型。本专利技术所采用的技术方案是：一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。作为优选，所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；所述参数化残差学习单元的形式化表达为：y＝f·r(x)+x；其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。作为优选，所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来；输入图像x通过长程跳过LongSkip连接叠加到残差信息上，残差信息r(x)由若干级联的卷积层Conv.学习得到。作为优选，所述参数化残差学习单元中，残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。作为优选，所述残差精化学习网络RRNet，其基本计算单元为现有的残差学习单元。作为优选，最优参数化残差学习网络PRNet、残差精化学习网络RRNet均通过训练获得；所述参数化残差学习网络PRNet的训练样本集由原始低分辨率LR图像和原始高分辨率HR图像样本对构成，通过现有普遍采用的高斯下采样方式构造；所述残差精化学习网络RRNet的训练样本集由重建高分辨率HR图像和残差图像样本对构成；为产生训练需要的残差图像样本，从原始高分辨率HR图像中，减去参数化残差学习网络PRNet重建的高分辨率HR图像，得到残差图像样本；为训练样本集中的每幅图像都产生一个残差图像样本，合计形成残差图像样本集。与现有的基于深度学习的超分辨率重建网络相比，本专利技术具有以下优点与积极效果：1)通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求。2)提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。附图说明图1为本专利技术实施例的可变倍率图像超分辨率网络模型的结构图；图2为本专利技术实施例的参数化残差单元结构图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。现有的超分辨率网络一次只能针对一种放大倍数进行训练，为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)。如果要实现任意倍数的可变倍率放大，必须为每种放大倍数训练一种网络模型，这在现实应用中不切实际。问题的根源在于现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，为此，应设计一种参数化残差学习网络模型，满足任意尺度输入的要求。此外，超分辨率重建的图像与真实的高分辨率图像不会完全一样，往往存在偏差，如果将偏差补偿到重建结果中，将能提高超分图像的细腻度、逼真度和自然度。为此，需要进一步设计一种残差精化网络来实现预测残差的补偿。基于上述原理，请见图1，本专利技术提供的一种可变倍率的图像超分辨率网络模型，结构如下：包括参数化残差学习网络(PRNet)、残差精化学习网络(RRNet)和叠加网络。前者学习低分辨率(LR)图像到高分辨率(HR)图像间的映射，后者学习重建高分辨率图像到残差间的映射。叠加网络将二者的学习结果进行叠加，形成最终的超分辨率(SR)图像输出。图1中的参数化残差学习网络，其基本计算单元为参数化残差学习单元。图1中的残差精化学习网络，其基本计算单元为现有的残差学习单元。下面进一步说明关键模块参数化残差学习单元的设计实例。1)参数化残差学习单元输入图像的分辨率与重建的目标分辨率越接近，需要超分辨率重建算法补偿的细节信息越少，当输入分辨率与目标分辨率相同时，超分辨率算法甚至不用对图像作任何改变。因此，需要超分辨率算法补充的图像信息与放大倍数成正相关关系。待补充的高频内容信息可以用低分辨率图像与真实本文档来自技高网...

【技术保护点】
1.一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；/n所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；/n所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；/n所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。/n

【技术特征摘要】
1.一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；
所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；
所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；
所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。


2.根据权利要1所述的可变倍率的图像超分辨率网络模型，其特征在于：所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；
所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；
所述参数化残差学习单元的形式化表达为：
y＝f·r(x)+x；
其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。


3.根据权利要2所述的可变倍率的图像超分辨率网络模型，其特征在于：所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不...

【专利技术属性】
技术研发人员：王中元，江奎，易鹏，马佳义，韩镇，邹勤，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42