图像处理方法、装置、程序产品、计算机设备和存储介质制造方法及图纸

本申请公开了图像处理方法、装置、程序产品、计算机设备和存储介质，该方法包括：对图像进行第一特征提取处理，得到图像的第一图像特征，其中，第一图像特征包括用于去块效应的图像特征；对图像进行第二特征提取处理，得到图像的第二图像特征，其中，第二图像特征包括用于强化图像细节的图像特征；对第一图像特征以及第二图像特征进行融合，得到融合后的图像特征；对融合后的图像特征进行超分辨率图像还原处理，得到处理后的图像，其中，处理后的图像的分辨率高于图像的分辨率。采用本申请，可以在剔除块效应的同时又保留超分辨率细节，提升图像质量。像质量。像质量。

【技术实现步骤摘要】
图像处理方法、装置、程序产品、计算机设备和存储介质


[0001]本申请涉及计算机
，尤其涉及图像处理方法、装置、程序产品、计算机设备和存储介质。

技术介绍

[0002]随着计算机与人工智能(Artificial Intelligence，AI)技术的不断发展，图像处理成为计算机科学与人工智能领域中的一个重要方向。去块效应和超分辨率是图像处理与编码传技术中最关键的两个技术，去块效应的主要作用是通过AI去除视频编码过程带来的块效应，超分辨率技术主要是将低分辨率的视频通过AI进行上采样，以便对低分辨率传输的视频进行上采样，达到既节省带宽，又保证视频主观质量的目的。然而去块效应会去除图像细节，超分辨率在放大图像增加细节的同时会带来额外的噪声，因此去块效应和超分辨技术在组合应用时通常调和难度很大。
[0003]因此，如何既剔除块效应又保留超分辨率细节，从而提升图像质量，成为亟待解决的问题。

技术实现思路

[0004]本申请提供了一种图像处理方法、装置、程序产品、计算机设备和存储介质，可以在剔除块效应的同时又保留超分辨率细节，提升图像质量。
[0005]本申请一方面提供了一种图像处理方法，包括：对图像进行第一特征提取处理，得到图像的第一图像特征，其中，第一图像特征包括用于去块效应的图像特征；对图像进行第二特征提取处理，得到图像的第二图像特征，其中，第二图像特征包括用于强化图像细节的图像特征；对第一图像特征以及第二图像特征进行融合，得到融合后的图像特征；对融合后的图像特征进行超分辨率图像还原处理，得到处理后的图像，其中，处理后的图像的分辨率高于图像的分辨率。
[0006]可选地，对第一图像特征以及第二图像特征进行融合，得到融合后的图像特征，包括：对第一图像特征进行降维处理，得到第一偏移特征；基于第一偏移特征对第二图像特征进行修正处理，得到修正后的第二图像特征；对第二图像特征进行降维处理，得到第二偏移特征；基于第二偏移特征对第一图像特征进行修正处理，得到修正后的第一图像特征；将修正后的第一图像特征与修正后的第二图像特征进行融合，得到融合后的图像特征。
[0007]可选地，处理后的图像是调用图像处理模型进行处理得到的，图像处理模型的训练方式包括：获取样本图像以及样本图像对应的参考图像，其中，参考图像的分辨率高于样本图像的分辨率；调用初始图像处理模型提取样本图像的第一样本图像特征，其中，第一样本图像特征包括用于去块效应的图像特征；调用初始图像处理模型提取样本图像的第二样本图像特征，其中，第二样本图像特征包括用于强化图像细节的图像特征；对第一样本图像特征以及第二样本图像特征进行融合，得到融合后的样本图像特征；对融合后的样本图像特征进行超分辨率图像还原处理，得到输出图像，其中，输出图像的分辨率与参考图像的分
辨率相匹配；以减小输出图像和参考图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型。
[0008]可选地，获取样本图像，包括：对参考图像进行第一降分辨率处理，得到样本图像。
[0009]进一步地，图像处理方法还包括：对参考图像进行第二降分辨率处理，得到中间参考图像，其中，中间参考图像与样本图像的分辨率相匹配，中间参考图像的清晰度高于样本图像的清晰度；对第一样本图像特征进行图像还原处理，获得中间图像；以减小输出图像和参考图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型，包括：以减小输出图像和参考图像的差异以及中间图像和中间参考图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型。
[0010]可选地，获取样本图像与参考图像，包括：对源参考图像进行超分辨率处理，得到经放大的图像；对经放大的图像进行去块处理，得到经去块的图像；对经去块的图像进行降分辨率处理，得到参考图像。
[0011]本申请一方面提供了一种图像处理装置，包括：特征提取模块，用于对图像进行第一特征提取处理，得到图像的第一图像特征，其中，第一图像特征包括用于去块效应的图像特征；特征提取模块，还用于对图像进行第二特征提取处理，得到图像的第二图像特征，其中，第二图像特征包括用于强化图像细节的图像特征；融合模块，还用于对第一图像特征以及第二图像特征进行融合，得到融合后的图像特征；处理模块，还用于对融合后的图像特征进行超分辨率图像还原处理，得到处理后的图像，其中，处理后的图像的分辨率高于图像的分辨率
[0012]可选地，融合模块用于对第一图像特征以及第二图像特征进行融合，得到融合后的图像特征，包括：对第一图像特征进行降维处理，得到第一偏移特征；基于第一偏移特征对第二图像特征进行修正处理，得到修正后的第二图像特征；对第二图像特征进行降维处理，得到第二偏移特征；基于第二偏移特征对第一图像特征进行修正处理，得到修正后的第一图像特征；将修正后的第一图像特征与修正后的第二图像特征进行融合，得到融合后的图像特征。
[0013]可选地，处理后的图像是处理模块调用图像处理模型进行处理得到的，图像处理模型的训练方式包括：获取样本图像以及样本图像对应的参考图像，其中，参考图像的分辨率高于样本图像的分辨率；调用初始图像处理模型提取样本图像的第一样本图像特征，其中，第一样本图像特征包括用于去块效应的图像特征；调用初始图像处理模型提取样本图像的第二样本图像特征，其中，第二样本图像特征包括用于强化图像细节的图像特征；对第一样本图像特征以及第二样本图像特征进行融合，得到融合后的样本图像特征；对融合后的样本图像特征进行超分辨率图像还原处理，得到输出图像，其中，输出图像的分辨率与参考图像的分辨率相匹配；以减小输出图像和参考图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型。
[0014]可选地，处理模块获取样本图像，包括：对参考图像进行第一降分辨率处理，得到样本图像。
[0015]可选地，处理模块还用于：对参考图像进行第二降分辨率处理，得到中间参考图像，其中，中间参考图像与样本图像的分辨率相匹配，中间参考图像的清晰度高于样本图像的清晰度；对第一样本图像特征进行图像还原处理，获得中间图像；以减小输出图像和参考
图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型，包括：以减小输出图像和参考图像的差异以及中间图像和中间参考图像的差异为训练目标，对初始图像处理模型进行训练，得到图像处理模型。
[0016]可选地，处理模块获取样本图像与参考图像，包括：对源参考图像进行超分辨率处理，得到经放大的图像；对经放大的图像进行去块处理，得到经去块的图像；对经去块的图像进行降分辨率处理，得到参考图像。
[0017]本申请一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请中一方面中的方法。
[0018]本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时使该处理器执行上述一方面中的方法。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：对图像进行第一特征提取处理，得到所述图像的第一图像特征，其中，所述第一图像特征包括用于去块效应的图像特征；对所述图像进行第二特征提取处理，得到所述图像的第二图像特征，其中，所述第二图像特征包括用于强化图像细节的图像特征；对所述第一图像特征以及所述第二图像特征进行融合，得到融合后的图像特征；对所述融合后的图像特征进行超分辨率图像还原处理，得到处理后的图像，其中，所述处理后的图像的分辨率高于所述图像的分辨率。2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像特征以及所述第二图像特征进行融合，得到融合后的图像特征，包括：对所述第一图像特征进行降维处理，得到第一偏移特征；基于所述第一偏移特征对所述第二图像特征进行修正处理，得到修正后的第二图像特征；对所述第二图像特征进行降维处理，得到第二偏移特征；基于所述第二偏移特征对所述第一图像特征进行修正处理，得到修正后的第一图像特征；将所述修正后的第一图像特征与所述修正后的第二图像特征进行融合，得到所述融合后的图像特征。3.根据权利要求1所述的图像处理方法，其特征在于，所述处理后的图像是调用图像处理模型进行处理得到的，所述图像处理模型的训练方式包括：获取样本图像以及所述样本图像对应的参考图像，其中，所述参考图像的分辨率高于所述样本图像的分辨率；调用初始图像处理模型提取所述样本图像的第一样本图像特征，其中，所述第一样本图像特征包括用于去块效应的图像特征；调用所述初始图像处理模型提取所述样本图像的第二样本图像特征，其中，所述第二样本图像特征包括用于强化图像细节的图像特征；对所述第一样本图像特征以及所述第二样本图像特征进行融合，得到融合后的样本图像特征；对所述融合后的样本图像特征进行超分辨率图像还原处理，得到输出图像，其中，所述输出图像的分辨率与所述参考图像的分辨率相匹配；以减小所述输出图像和所述参考图像的差异为训练目标，对所述初始图像处理模型进行训练，得到所述图像处理模型。4.根据权利要求3所述的图像处理方法，其特征在于，所述获取样本图像，包括：对所述参考图像进行第一降分辨率处理，得到所述样本图像。5.根据权利要求4所述的图像处理方法，其特征...

【专利技术属性】
技术研发人员：贺思颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：