图像超分辨率方法、装置、计算机设备和可读介质制造方法及图纸

本公开提供一种图像超分辨率方法，获取处理参数和待处理的第一图像，并获取包括动态处理模型和控制模型的动态超分辨率模型，动态超分辨率模型是对动态处理模型和控制模型进行整体训练后得到的；根据处理参数利用控制模型调整或控制动态处理模型，并根据经调整或控制的动态处理模型处理第一图像，得到第二图像，第二图像的分辨率高于第一图像的分辨率；本公开实施例可以在保证图像处理要求的前提下，尽可能简化动态处理模型的结构或执行次数，从而兼顾图像质量、系统高运行速度和低运算力；动态超分辨率模型可以根据处理参数自动调整，提高图像超分辨率处理的灵活性和广泛性。本公开还提供一种图像超分辨率装置、计算机设备和可读介质。读介质。读介质。

【技术实现步骤摘要】
图像超分辨率方法、装置、计算机设备和可读介质


[0001]本公开涉及计算机视觉
，具体涉及一种图像超分辨率方法、装置、计算机设备和可读介质。

技术介绍

[0002]现有的基于神经网络的图像超分辨率算法已经取得了不错的效果，在自然图像、医疗图像等各类别图像中都有比较广泛的应用，其处理或者优化方法如下：1)通过设计计算单元,比如残差块(residual block)，深度卷积(depth
‑
wise convolution)，形变卷积(deformable convolution)等，提升性能或者加快推理速度；2)通过增加宽度(增加通道数量)和深度(增加网络层数)增加网络性能；3)通过融合各层的信息量提升性能，比如使用注意力(attention)机制，使用稠密连接等。
[0003]但是目前针对训练好的超分辨率神经网络模型，输入超分辨率神经网络模型的所有低分辨率图像都是经历同样的网络处理流程输出高分辨率图像。而在设计超分辨率神经网络模型的时候，为了处理复杂图像，往往网络层数较多，网络结构较为复杂。但是在实际应用中，部分输入的低分辨率图像往往比较简单没有必要使用复杂的网络结构，从而造成时间和算力的浪费。

技术实现思路

[0004]本公开提供一种图像超分辨率方法、装置、计算机设备和可读介质。
[0005]第一方面，本公开实施例提供一种图像超分辨率方法，所述方法包括：
[0006]获取处理参数和待处理的第一图像；
[0007]获取动态超分辨率模型，所述动态超分辨率模型包括动态处理模型和控制模型，所述控制模型用于控制所述动态处理模型执行或者调整所述动态处理模型的结构，所述动态超分辨率模型是对所述动态处理模型和控制模型进行整体训练后得到的；
[0008]根据所述处理参数，利用所述控制模型调整或控制所述动态处理模型，并根据经调整或控制的动态处理模型处理所述第一图像，得到与所述第一图像对应的第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
[0009]在一些实施例中，所述动态超分辨率模型是采用强化学习算法对所述动态处理模型和所述控制模型进行整体训练后得到的，采用强化学习算法对所述动态处理模型和所述控制模型进行整体训练得到所述动态超分辨率模型，包括：
[0010]采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练，所述训练图像为对原始图像进行压缩处理得到的图像；
[0011]响应于预设收敛条件满足，结束训练，得到所述动态超分辨率模型；
[0012]其中，所述预设收敛条件包括以下至少之一：
[0013]已训练预设迭代次数；
[0014]损失函数与获得的奖励之间的加权和最小，所述损失函数为经动态处理模型处理
得到的图像与相应训练图像对应的原始图像之间的损失函数，所述获得的奖励为所述控制模型控制或调整所述动态处理模型所获得的奖励。
[0015]在一些实施例中，在采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练之前，所述方法还包括：
[0016]隔离所述初始控制模型，训练所述初始动态处理模型，得到训练后的动态处理模型；
[0017]所述采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练，包括：
[0018]采用强化学习算法通过迭代的方式，利用训练图像对所述训练后的动态处理模型和所述初始控制模型进行整体训练。
[0019]在一些实施例中，所述动态超分辨率模型包括动态深度超分辨率模型，所述动态深度超分辨率模型包括第一动态处理模型和第一控制模型，所述第一控制模型用于，在所述第一动态处理模型执行至少一次之后，控制所述第一动态处理模型执行，或者，控制所述第一动态处理模型中的处理模块或处理层执行。
[0020]在一些实施例中，所述动态深度超分辨率模型包括动态循环超分辨率神经网络模型或动态跳层超分辨率神经网络模型。
[0021]在一些实施例中，所述动态超分辨率模型包括动态宽度超分辨率模型，所述动态宽度超分辨率模型包括第二动态处理模型和第二控制模型，所述第二控制模型用于调整所述第二动态处理模型中各卷积层的通道。
[0022]在一些实施例中，所述动态宽度超分辨率模型包括动态剪枝超分辨率神经网络模型。
[0023]又一方面，本公开实施例还提供一种图像超分辨率装置，包括获取模块、控制调整模块和图像处理模块，所述获取模块用于，获取处理参数和待处理的第一图像；以及，获取动态超分辨率模型，所述动态超分辨率模型包括动态处理模型和控制模型，所述控制模型用于控制所述动态处理模型执行或者调整所述动态处理模型的结构，所述动态超分辨率模型是对所述动态处理模型和控制模型进行整体训练后得到的；
[0024]所述控制调整模块用于，根据所述处理参数，利用所述控制模型调整或控制所述动态处理模型；
[0025]所述图像处理模块用于，根据经调整或控制的动态处理模型处理所述第一图像，得到与所述第一图像对应的第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
[0026]又一方面，本公开实施例还提供一种计算机设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的图像超分辨率方法。
[0027]又一方面，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的图像超分辨率方法。
[0028]本公开实施例提供的图像超分辨率方法，获取处理参数和待处理的第一图像，并获取包括动态处理模型和控制模型的动态超分辨率模型，动态超分辨率模型是对动态处理模型和控制模型进行整体训练后得到的；根据处理参数利用控制模型调整或控制动态处理
模型，并根据经调整或控制的动态处理模型处理第一图像，得到与第一图像对应的第二图像，第二图像的分辨率高于第一图像的分辨率；本公开实施例在已经对动态处理模型和控制模型进行整体训练的情况下，利用控制模型调整或控制动态处理模型后，根据调整或控制后的动态处理模型对第一图像进行处理，可以在保证图像处理要求的前提下，尽可能简化动态处理模型的结构或执行次数，从而兼顾图像质量、系统高运行速度和低运算力；而且，动态超分辨率模型可以根据处理参数自动调整，提高图像超分辨率处理的灵活性和广泛性。
附图说明
[0029]图1为本公开实施例提供的图像超分辨率方法的流程示意图；
[0030]图2为本公开实施例提供的训练动态超分辨率模型的流程示意图一；
[0031]图3为本公开实施例提供的训练动态超分辨率模型的流程示意图二；
[0032]图4为本公开实施例提供的动态循环超分辨率神经网络模型结构示意图；
[0033]图5为本公开实施例提供的动态跳层超分辨率神经网络模型结构示意图；
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率方法，其特征在于，所述方法包括：获取处理参数和待处理的第一图像；获取动态超分辨率模型，所述动态超分辨率模型包括动态处理模型和控制模型，所述控制模型用于控制所述动态处理模型执行或者调整所述动态处理模型的结构，所述动态超分辨率模型是对所述动态处理模型和控制模型进行整体训练后得到的；根据所述处理参数，利用所述控制模型调整或控制所述动态处理模型，并根据经调整或控制的动态处理模型处理所述第一图像，得到与所述第一图像对应的第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。2.如权利要求1所述的方法，其特征在于，所述动态超分辨率模型是采用强化学习算法对所述动态处理模型和所述控制模型进行整体训练后得到的，采用强化学习算法对所述动态处理模型和所述控制模型进行整体训练得到所述动态超分辨率模型，包括：采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练，所述训练图像为对原始图像进行压缩处理得到的图像；响应于预设收敛条件满足，结束训练，得到所述动态超分辨率模型；其中，所述预设收敛条件包括以下至少之一：已训练预设迭代次数；损失函数与获得的奖励之间的加权和最小，所述损失函数为经动态处理模型处理得到的图像与相应训练图像对应的原始图像之间的损失函数，所述获得的奖励为所述控制模型控制或调整所述动态处理模型所获得的奖励。3.如权利要求2所述的方法，其特征在于，在采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练之前，所述方法还包括：隔离所述初始控制模型，训练所述初始动态处理模型，得到训练后的动态处理模型；所述采用强化学习算法通过迭代的方式，利用训练图像对初始动态处理模型和初始控制模型进行整体训练，包括：采用强化学习算法通过迭代的方式，利用训练图像对所述训练后的动态处理模型和所述初始控制模型进行整体训练。4.如权利要求1
‑
3任一项所述的方法，其特征在于，所述动态超分辨率模型包括...

【专利技术属性】
技术研发人员：易自尧，徐科，孔德辉，杨维，宋剑军，
申请(专利权)人：深圳市中兴微电子技术有限公司，
类型：发明
国别省市：