一种轻量化图像超分方法技术

本申请实施例提供了一种轻量化图像超分方法

【技术实现步骤摘要】
一种轻量化图像超分方法、装置、设备、存储介质及产品


[0001]本申请实施例涉及图像处理
，尤其涉及一种轻量化图像超分方法
、
装置
、
设备
、
存储介质及产品
。

技术介绍

[0002]随着计算机
、
手机等智能设备与其相关技术的飞速发展，互联网和流媒体技术
(Streaming Media)
已经逐渐渗透到人类生活的多个方面
。
流媒体技术是指将一连串的媒体数据压缩后，以流的方式在网络中分段传送，实现在网络上实时传输影音以供观赏的一种技术
。
在网络情况不佳的情况下，观众接收到的视频流往往是低分辨率
、
低码率的视频，相较于高分辨率
、
高码率的视频而言，视频的画质会更受限
。
由于网络状况的限制，用户无法接收到高质量的流，可通过利用观众手机端的算力将低分辨率图像超分为高分辨率图像，以此提高图像的画质，为用户带来更好的观看体验
。
[0003]超分，也即超分辨率，是指输入一张低分辨率图像，将其通过处理后得到一张同样内容的高分辨率图像
。
目前对图像的超分处理一般是基于传统超分算法和深度学习网络两种方式进行，传统的超分算法处理速度较快，但是超分效果较差，而基于深度学习网络的超分处理需要消耗大量的时间，图像超分效率较低
。

技术实现思路

[0004]本申请实施例提供一种轻量化图像超分方法<br/>、
装置
、
设备
、
存储介质及产品，以解决相关技术中图像超分处理效果较差，效率较低的技术问题，在保证图像超分处理效果的同时，有效提高图像超分处理效率
。
[0005]在第一方面，本申请实施例提供了一种轻量化图像超分方法，包括：
[0006]获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；
[0007]基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；
[0008]基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；
[0009]将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率
。
[0010]在第二方面，本申请实施例提供了一种轻量化图像超分装置，包括通道分离模块
、
亮度超分模块
、
色度超分模块以及通道融合模块，其中：
[0011]所述通道分离模块，配置为获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；
[0012]所述亮度超分模块，配置为基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；
[0013]所述色度超分模块，配置为基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；
[0014]所述通道融合模块，配置为将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率
。
[0015]在第三方面，本申请实施例提供了一种轻量化图像超分设备，包括：存储器以及一个或多个处理器；
[0016]所述存储器，用于存储一个或多个程序；
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的轻量化图像超分方法
。
[0018]在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的轻量化图像超分方法
。
[0019]在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的轻量化图像超分方法
。
[0020]本申请实施例通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对所述亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率
。
附图说明
[0021]图1是本申请实施例提供的一种轻量化图像超分方法的流程图；
[0022]图2是本申请实施例提供的另一种轻量化图像超分方法的流程图；
[0023]图3是本申请实施例提供的一种残差预测模型训练流程示意图；
[0024]图4是本申请实施例提供的一种残差预测模型结构示意图；
[0025]图5是本申请实施例提供的一种轻量化图像超分装置的结构示意图；
[0026]图6是本申请实施例提供的一种轻量化图像超分设备的结构示意图
。
具体实施方式
[0027]为了使本申请的目的
、
技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述
。
可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定
。
另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容
。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法
。
虽然流程图将各项操作
(
或步骤
)
描述成顺序的处理，但是其中的许多操作可以被并行地
、
并发地或者同时实施
。
此外，各项操作的顺序可以被重新安排
。
当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤
。
上述处理可以对应于方法
、
函数
、
规程
、
子例程
、
子程序等等
。
[0028]本申请提供的轻量化图像超分方法可应用于需要通过图像超分提高视频观看体
验的场景，例如视频直播
、
短视频观看等场景，旨在结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，通过超分算法对人眼感知相对较弱的色度分量进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率
。
在现有的图像超分处理方案中，一直是通过传统超分算法或深度学习网络
(
例如基于卷积神经网络的
FSRCN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种轻量化图像超分方法，其特征在于，包括：获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率
。2.
根据权利要求1所述的轻量化图像超分方法，其特征在于，所述基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像，包括：基于第一超分算法对所述亮度分量图像进行超分处理，得到初始亮度超分图像；利用训练完成的残差预测模型对所述初始亮度超分图像进行修正，得到亮度超分图像
。3.
根据权利要求2所述的轻量化图像超分方法，其特征在于，所述利用训练完成的残差预测模型对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：将所述亮度分量图像输入至训练完成的残差预测模型，通过所述残差预测模型对所述亮度分量图像进行分析处理，得到所述第一超分算法对应的亮度预测残差；根据所述亮度预测残差对所述初始亮度超分图像进行修正，得到亮度超分图像
。4.
根据权利要求3所述的轻量化图像超分方法，其特征在于，所述根据所述亮度预测残差对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：将所述初始亮度超分图像以及所述亮度预测残差相加，得到亮度超分图像
。5.
根据权利要求1所述的轻量化图像超分方法，其特征在于，所述获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像之前，还包括：获取第一亮度样本图像，对所述第一亮度样本图像进行下采样处理得到第二亮度样本图像，所述第一亮度样本图像的分辨率高于所述第二亮度样本图像的分辨率；根据所述第二亮度样本图像以及所述第一亮度样本图像确定第一超分算法对应的样本亮度残差；利用所述第二亮度样本图像以及所述样本亮度残差训练残差预测模型
。6.
根据权利要求5所述的轻...

【专利技术属性】
技术研发人员：袁子逸，高虹，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：