下采样模型的训练方法、图像处理方法及装置制造方法及图纸

一种下采样模型的训练方法、图像处理方法及装置，该训练方法包括：获取训练数据，训练数据包括第一样本图像与第二样本图像；将第一样本图像输入下采样模型，得到第一预测图像，第一预测图像为第一颜色空间的图像；基于第三样本图像与第二预测图像训练下采样模型，得到训练后的下采样模型，所述第三样本图像是指对第二样本图像进行下采样处理后得到的图像，第二预测是指对第一预测图像进行去马赛克处理得到的第二颜色空间的图像。基于本申请的技术方案，在通过下采样模型对第一颜色空间的图像进行下采样处理时，能够提高图像的清晰度。能够提高图像的清晰度。能够提高图像的清晰度。

【技术实现步骤摘要】
下采样模型的训练方法、图像处理方法及装置


[0001]本申请涉及图像处理领域，具体地，涉及一种下采样模型的训练方法、图像处理方法及装置。

技术介绍

[0002]在暗光环境下拍照(或者视频)时，比如，在夜景环境下拍照，由于电子设备的进光量较少导致图像的噪声较大；为了减小图像中的噪声，提升图像质量，通常对图像进行Raw域降噪；但是，由于受限于电子设备的运算性能与功耗，在进行Raw域降噪时需要减小Raw域图像的尺寸；目前减小Raw域图像的尺寸方法会使得图像的清晰度明显降低。
[0003]因此，在对Raw域图像进行下采样处理时，如何提高图像的清晰度成为一个亟需解决的问题。

技术实现思路

[0004]本申请提供了一种下采样模型的训练方法、图像处理方法及装置，对Raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。
[0005]第一方面，提供了一种下采样模型的训练方法，包括：
[0006]获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像；
[0007]将所述第一样本图像输入下采样模型，得到第一预测图像，所述第一预测图像为所述第一颜色空间的图像，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理；
[0008]基于第三样本图像与第二预测图像训练所述下采样模型，得到训练后的下采样模型，其中，所述第三样本图像是指对所述第二样本图像进行所述下采样处理后得到的图像，所述第二预测是指对所述第一预测图像进行去马赛克处理得到的所述第二颜色空间的图像。
[0009]在本申请的实施例中，在训练下采样模型时是以低分辨率的RGB域图像作为目标值，而低分辨率的RGB域图像是通过对高分辨率的RGB域图像进行下采样得到的；因此，低分辨率的RGB域图像高分辨率的RGB域图像的清晰度是相同的；因此，通过下采样模型得到的下采样处理后的Raw域图像不会存在清晰度损失的问题；换而言之，在训练下采样模型时，是以与高分辨率的RGB域图像相同清晰度的低分辨率的RGB域图像作为目标值；因此，通过本申请实施例中的下采样模型对Raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。
[0010]应理解，Raw域图像可以是指Raw颜色空间的图像；Raw域图像是指图像在Raw颜色空间；同理，RGB域图像是指RGB颜色空间的图像，即图像在RGB颜色空间。
[0011]在一种可能的实现方式中，第一颜色空间是指Raw颜色空间；第二颜色空间是指
RGB颜色空间，或者其他颜色空间。
[0012]在一种可能的实现方式中，下采样模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本申请对此不作任何限定。
[0013]结合第一方面，在第一方面的某些实现方式中，还包括：
[0014]获取去马赛克算法，所述去马赛克算法用于进行所述去马赛克处理。
[0015]在本申请的实施例中，在去马赛克算法已知的情况下，可以获取去马赛克算法；根据训练数据与去马赛克算法得到下采样模型，因此，下采样模型可以是适配该已知去马赛克算法的神经网络；对于不同的去马赛克算法可以得到不同的预先训练的下采样神经网络。
[0016]结合第一方面，在第一方面的某些实现方式中，还包括：
[0017]将所述第一样本图像输入去马赛克模型，得到第三预测图像，所述第三预测图像为所述第二颜色空间的图像；
[0018]基于所述第三预测图像与所述第二样本图像训练所述去马赛克模型，得到训练后的去马赛克模型。
[0019]在本申请的实施例中，在去马赛克算法未知的情况下，可以通过获取大量的样本数据进行训练，得到学习样本数据对应的去马赛克模型，即得到预先训练的去马赛克神经网络；在本申请的实施例中，下采样模型可以是适配该去马赛克模型；对于不同的去马赛克模型可以得到不同的预先训练的下采样模型。
[0020]在一种可能的实现方式中，去马赛克模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本申请对此不作任何限定。
[0021]结合第一方面，在第一方面的某些实现方式中，所述下采样模型的参数是根据所述第三样本图像与所述第二预测图像之间的差异通过反向传播算进行迭代得到的。
[0022]结合第一方面，在第一方面的某些实现方式中，所述去马赛克模型的参数是根据所述第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的。
[0023]第二方面，提供了一种图像处理方法，其特征在于，应用于电子设备，包括：
[0024]显示第一界面，所述第一界面包括第一控件；
[0025]检测到对所述第一控件的第一操作；
[0026]响应于所述第一操作，获取第一图像，所述第一图像为第一颜色空间的图像；
[0027]根据下采样模型对所述第一图像进行处理，得到第二图像，其中，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理，所述下采样模型是根据训练数据与目标数据训练得到的，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指所述第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像，所述目标数据是指对所述第二样本图像进行所述下采样处理后的图像；
[0028]对所述第二图像进行图像处理，得到第三图像。
[0029]在本申请的实施例中，在训练下采样模型时是以低分辨率的RGB域图像作为目标值，而低分辨率的RGB域图像是通过对高分辨率的RGB域图像进行下采样得到的；因此，低分辨率的RGB域图像高分辨率的RGB域图像的清晰度是相同的；因此，通过下采样模型得到的下采样处理后的Raw域图像不会存在清晰度损失的问题；换而言之，在训练下采样模型时，
是以与高分辨率的RGB域图像相同清晰度的低分辨率的RGB域图像作为目标值；因此，通过本申请实施例中的下采样模型对Raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。
[0030]应理解，Raw域图像可以是指Raw颜色空间的图像；Raw域图像是指图像在Raw颜色空间；同理，RGB域图像是指RGB颜色空间的图像，即图像在RGB颜色空间。
[0031]在一种可能的实现方式中，第一颜色空间是指Raw颜色空间；第二颜色空间是指RGB颜色空间，或者其他颜色空间。
[0032]在一种可能的实现方式中，下采样模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本申请对此不作任何限定。
[0033]结合第二方面，在第二方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。
[0034]在一种可能的实现方式中，所述第一操作是指点击所述相机应用程序的操作。
[0035]结合第二方面，在第二方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种下采样模型的训练方法，其特征在于，包括：获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像；将所述第一样本图像输入下采样模型，得到第一预测图像，所述第一预测图像为所述第一颜色空间的图像，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理；基于第三样本图像与第二预测图像训练所述下采样模型，得到训练后的下采样模型，其中，所述第三样本图像是指对所述第二样本图像进行所述下采样处理后得到的图像，所述第二预测是指对所述第一预测图像进行去马赛克处理得到的所述第二颜色空间的图像。2.如权利要求1所述的训练方法，其特征在于，还包括：获取去马赛克算法，所述去马赛克算法用于进行所述去马赛克处理。3.如权利要求1所述的训练方法，其特征在于，还包括：将所述第一样本图像输入去马赛克模型，得到第三预测图像，所述第三预测图像为所述第二颜色空间的图像；基于所述第三预测图像与所述第二样本图像训练所述去马赛克模型，得到训练后的去马赛克模型。4.如权利要求1至3中任一项所述的训练方法，其特征在于，所述下采样模型的参数是根据所述第三样本图像与所述第二预测图像之间的差异通过反向传播算进行迭代得到的。5.如权利要求3所述的训练方法，其特征在于，所述去马赛克模型的参数是根据所述第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的。6.一种图像处理方法，其特征在于，应用于电子设备，包括：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像，所述第一图像为第一颜色空间的图像；根据下采样模型对所述第一图像进行处理，得到第二图像，其中，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理，所述下采样模型是根据训练数据与目标数据训练得到的，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指所述第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像，所述目标数据是指对所述第二样本图像进行所述下采样处理后的图像；对所述第二图像进行图像处理，得到第三图像。7.如权利要求6所述的图像处理方法，其特征在于，所述下采样模型的参数是根据第二预测图像与所述目标数据之间的差异通过反向传播算进行迭代得到的，所述第二预测是指对第一预测图像进行所述去马赛克处理得到的所述第二颜色空间的图像，所述第一预测图像是对指将所述第一样本图像输入所述下采样模型得到的图像。8.如权利要求6或7所述的图像处理方法，其特...

【专利技术属性】
技术研发人员：陈彬，曾祥睿，王宁，王宇，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：