图像处理方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置和电子设备。其中，该方法包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。的泛用性。的泛用性。

【技术实现步骤摘要】
图像处理方法、装置和电子设备


[0001]本专利技术涉及深度学习的
，尤其是涉及一种图像处理方法、装置和电子设备。

技术介绍

[0002]随着多媒体技术的发展，网络数据呈现爆炸式增长，例如图片、视频、文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，在视频或图像被观看者观看之前通常会对视频或图像进行画质增强。
[0003]画质增强方法包括但不限于对比度增强、边缘增强、色彩增强、去除噪声等。现有的画质增强方法主要分为两类：一类是传统方法，如直方图均衡等算法，它们通常是针对某一具体场景或问题而设计的算法，比如去噪算法通常主要关注于图像或视频中各种噪声并加以去除，而不需要关注色彩、对比度等场景。另一类是基于深度学习的方法，其主要是从大量已标注数据中进行学习并应用到其他数据中，相比传统方法，深度学习方法泛化性更好，且可以同时对画质的多个场景和维度进行增强处理。
[0004]现有基于深度学习的画质增强方法在神经网络模型训练的过程中尽可能让神经网络模型去逼近已知高清图像，训练完成的神经网络模型一般具有较高的客观指标，例如PSNR(Peak Signal to Noise Ratio，峰值信噪比)，但是主观指标通常并不能达到较为理想的效果。也即客观指标和主观指标并不完全是正相关，客观指标高的未必主观指标就一定好。因此，现有的画质增强方法泛化性较差，主观指标和客观指标难以同时达到理想的效果。

技术实现思路
r/>[0005]有鉴于此，本专利技术的目的在于提供一种图像处理方法、装置和电子设备，以提高泛化性，使得主观指标和客观指标同时达到理想的效果。
[0006]第一方面，本专利技术实施例提供了一种图像处理方法，包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
[0007]在本专利技术较佳的实施例中，上述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
[0008]在本专利技术较佳的实施例中，上述基于画质增强样本和标准样本确定当前样本的损失值的步骤，包括：基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：Loss＝w*L0+(1
‑
w)*LQA；其中，Loss为当前样本的损失值，w为损失函数权重，L0为第二损失值，LQA为第一损失值。
[0009]在本专利技术较佳的实施例中，上述将当前样本输入至画质增强模型中，输出画质增强样本的步骤之后，方法还包括：将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数；基于画质增强样本和标准样本确定主观评价模型的第一损失值的步骤，包括：如果QA(E(LR))
‑
QA(HR)＞＝0，LQA＝0；其中，LR为当前样本，E(LR)为画质增强样本，QA(E(LR))为第一主观分数；HR为标准样本，QA(HR)为第二主观分数；如果QA(E(LR))
‑
QA(HR)＜0并且QA(E(LR))
‑
QA(HR)＞＝T，LQA＝
‑
1/T*(QA(E(LR))
‑
QA(HR))^2；其中，T为预设阈值；如果QA(E(LR))
‑
QA(HR)＜T，LQA＝QA(HR)
‑
QA(E(LR))。
[0010]在本专利技术较佳的实施例中，上述方法还包括：记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(
‑
x^2)，其中，x为画质增强模型训练过程中的迭代次数。
[0011]在本专利技术较佳的实施例中，上述主观评价模型通过以下步骤训练：基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
[0012]在本专利技术较佳的实施例中，上述基于预设的主观指标图像集合训练主观评价模型的步骤，包括：基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值；对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数；基于主观评分值和当前主观分数确定当前主观样本的损失值；根据当前主观样本的损失值调整主观评价模型的参数；当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
[0013]第二方面，本专利技术实施例还提供一种图像处理装置，包括：图像获取模块，用于获取目标图像；画质增强模块，用于将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
[0014]第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的图像处理方法的步骤。
[0015]第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的图像处理方法的步骤。
[0016]本专利技术实施例带来了以下有益效果：
[0017]本专利技术实施例提供的一种图像处理方法、装置和电子设备，预先训练完成包含客
观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
[0018]本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
[0019]为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标图像；将所述目标图像输入预先训练完成的画质增强模型中，获得所述画质增强模型输出的画质增强图像；其中，所述画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，所述客观评价模型是基于图像的客观指标进行训练得到的，所述主观评价模型是基于图像的主观指标进行训练得到的。2.根据权利要求1所述的方法，其特征在于，所述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和所述当前样本对应的标准样本；对于每一个所述当前样本，均执行以下训练操作：将所述当前样本输入至所述画质增强模型中，输出画质增强样本；基于所述画质增强样本和所述标准样本确定所述当前样本的损失值；根据所述当前样本的损失值调整所述画质增强模型的参数；当所述训练操作满足预设的训练结束条件时，将当前训练得到的所述画质增强模型确定为训练好的画质增强模型。3.根据权利要求2所述的方法，其特征在于，基于所述画质增强样本和所述标准样本确定所述当前样本的损失值的步骤，包括：基于所述画质增强样本和所述标准样本确定所述主观评价模型的第一损失值；基于所述画质增强样本和所述标准样本确定所述客观评价模型的第二损失值；通过以下损失函数确定所述当前样本的损失值：Loss＝w*L0+(1
‑
w)*LQA；其中，Loss为所述当前样本的损失值，w为损失函数权重，L0为所述第二损失值，LQA为所述第一损失值。4.根据权利要求3所述的方法，其特征在于，将所述当前样本输入至所述画质增强模型中，输出画质增强样本的步骤之后，所述方法还包括：将所述画质增强样本和所述标准样本分别输入所述主观评价模型，输出所述画质增强样本对应的第一主观分数和所述标准样本对应的第二主观分数；基于所述画质增强样本和所述标准样本确定所述主观评价模型的第一损失值的步骤，包括：如果QA(E(LR))
‑
QA(HR)＞＝0，LQA＝0；其中，LR为所述当前样本，E(LR)为所述画质增强样本，QA(E(LR))为所述第一主观分数；HR为标准样本，QA(HR)为所述第二主观分数；如果QA(E(LR))
‑
QA(HR)＜0并且QA(E(LR))
‑
QA(HR)＞＝T，LQA＝
‑
1/T*(QA(E(LR))<...

【专利技术属性】
技术研发人员：鲁方波，汪贤，樊鸿飞，蔡媛，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：