一种图像处理方法及装置制造方法及图纸

本申请涉及一种图像处理方法及装置，其中，该方法可以包括：获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。通过本申请，综合利用多张先验图的优势，生成颜色、亮度、对比度等优化后的高质量的目标图像。量的目标图像。量的目标图像。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]深度学习方法，尤其是基于卷积神经网络方法，是近年来人工智能领域发展的一个关键推动力，在计算机视觉的多种任务取得了令人瞩目的效果；例如，在图像复原(Image restoration)和图像质量增强(Image Quality Enhancement)领域，基于深度学习的方法在去噪、超分等任务都已经超过了传统方法。
[0003]高动态范围电视(High dynamic range television，HDRTV)相比于标准动态范围电视(Standard dynamic range television，SDRTV)在色彩分辨率、量化位深、动态范围(高低亮处的细节)等方面具有显著优势，呈现更加逼真的色彩和更丰富的细节。当前市场上支持HDRTV的显示器有很多，但是HDR的视频或图像源很少，大部分素材内容均是SDR的格式，因此，从SDRTV重建到HDRTV有很大的需求，然而，现有基于深度学习从SDRTV重建到HDRTV的方式，对图像质量增强效果不佳。

技术实现思路

[0004]有鉴于此，提出了一种图像处理方法、装置、存储介质及计算机程序产品。
[0005]第一方面，本申请的实施例提供了一种图像处理方法，包括：获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。
[0006]基于上述技术方案，考虑到不同方式所生成的先验图各有优劣，综合利用并结合多种高显示标准的先验(互补)的优势，对低质量的待处理图像进行处理，生成颜色、亮度、对比度等优化后的高质量的目标图像；从而实现基于多种高显示标准的先验从不同的角度为高质量的目标图像重建提供高效的先验指导，克服平衡色偏、高亮细节丢失等问题，从而提升了重建的目标图像的效果，重建后的目标图像在高亮区域、低亮区域有更多细节，表达色域颜色更宽。
[0007]根据第一方面，在第一方面的第一种可能的实现方式中，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；所述将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征，包括：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。
[0008]基于上述技术方案，由于不同的子网络用于提取不同的特征，采用多个子网络，从而解耦图像所对应不同的特征之间的耦合关系；此外，各子网络为并行结构，即各子网络均可接收到待处理图像及第一特征，并可以各自单独进行特征提取，这样，通过并行处理使得
图像的增强效果很好地兼顾不同的特征；同时，第一特征可以调制各子网络的各级输出特征，从而融合已有重建先验的优势，降低各子网络特征提取难度与计算复杂度，使得网络更加高效。
[0009]根据第一方面的第一种可能的实现方式中，在第一方面的第二种可能的实现方式中，所述子网络包括全局变换神经网络和局部变换神经网络；所述将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征，包括：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。
[0010]基于上述技术方案，将第二神经网络的处理分为并行的全局变换与局部变换两个分支，采用全局变换神经网络和局部变换神经网络，解耦全局增强和局部增强之间的耦合关系，并行处理使得增强效果很好地兼顾全局视觉效果和局部视觉效果；同时，第一特征可以调制全局变换神经网络和局部变换神经网络的各级输出特征，从而融合已有重建先验的优势，降低全局变换神经网络和局部变换神经网络特征提取难度与计算复杂度，使得网络更加高效。
[0011]根据第一方面或第一方面的上述各种可能的实现方式中，在第一方面的第三种可能的实现方式中，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；所述通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像，包括：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。
[0012]基于上述技术方案，对待处理图像进行处理，生成目标掩码图像，并通过亮度感知特征提取网络对待处理图像、目标掩码图像进行亮度感知特征提取，利用所提取的亮度感知特征生成亮度调制图，对亮度增强网络的输出特征进行调制，从而达到使用目标掩码图像来控制目标图像在高低亮区域生成细节的目的；重建后的高显示标准的目标图像在高亮区域、低亮区域均有更多细节。
[0013]根据第一方面的第三种可能的实现方式中，在第一方面的第四种可能的实现方式中，所述对所述待处理图像进行处理，生成目标掩码图像，包括：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。
[0014]基于上述技术方案，采用直方图均衡化及直方图百分位截取的方式生成高
‑
低亮度掩码图像，以使得后续相对亮度调整更加鲁棒、自适应能力更强，从而提升图像亮度增强效果。
[0015]根据第一方面的第三种或第四种可能的实现方式中，在第一方面的第五种可能的实现方式中，所述亮度增强网络为多级神经网络；所述将所述第二特征输入到所述亮度增
强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像，包括：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。
[0016]基于上述技术方案，采用基于亮度调制图的渐进式增强的方式，可以根据算力水平、精度要求等需求灵活设置亮度增强网络的级数，从而实现合理地分阶段多级增强。
[0017]根据第一方面或第一方面的上述各种可能的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像及所述待处理图像对应的多张先验图；所述多张先验图中包括通过不同方式所生成的先验图；将所述多张先验图输入到第一神经网络进行特征提取，生成第一特征；将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征；通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述第二神经网络包括多个子网络，其中，不同的子网络用于提取不同的特征；所述将所述待处理图像输入到第二神经网络，并利用所述第一特征调制所述第二神经网络的输出特征，生成第二特征，包括：将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征。3.根据权利要求2所述的方法，其特征在于，所述子网络包括全局变换神经网络和局部变换神经网络；所述将所述待处理图像分别输入到所述多个子网络中的各子网络，利用所述第一特征调制所述各子网络的输出特征，并对所述各子网络的输出特征进行融合处理，生成所述第二特征，包括：将所述待处理图像输入到所述全局变换神经网络，并利用所述第一特征调制所述全局变换神经网络的输出特征，生成所述待处理图像的全局特征；将所述待处理图像输入到所述局部变换神经网络，并利用所述第一特征调制所述局部变换神经网络的输出特征，生成所述待处理图像的局部特征；对所述全局特征和所述局部特征进行融合处理，生成所述第二特征。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述第三神经网络包括：亮度感知特征提取网络及亮度增强网络；所述通过第三神经网络对所述待处理图像及所述第二特征进行处理，得到目标图像，包括：对所述待处理图像进行处理，生成目标掩码图像，所述目标掩码图像包括第一区域及第二区域，其中，所述第一区域对应的亮度高于所述第二区域对应的亮度；通过所述亮度感知特征提取网络，对所述待处理图像、所述目标掩码图像进行特征提取，并根据所提取的特征生成亮度调制图，所述亮度调制图用于对亮度进行调制；将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像；其中，所述亮度增强网络针对亮度对所述第二特征进行增强。5.根据权利要求4所述的方法，其特征在于，所述对所述待处理图像进行处理，生成目标掩码图像，包括：通过对所述待处理图像进行直方图均衡化及直方图百分位截取，生成所述目标掩码图像。
6.根据权利要求4或5所述的方法，其特征在于，所述亮度增强网络为多级神经网络；所述将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图调制所述亮度增强网络的输出特征，得到所述目标图像，包括：将所述第二特征输入到所述亮度增强网络，并利用所述亮度调制图对所述亮度增强网络中的各级输出特征进行调制，得到所述目标图像，其中，针对每级输出特征进行调制前，对所述亮度调制图进行特征提取。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述方法还包括：获取至少一个训练样本图像及所述训练样本图像对应的多张先验样本图；根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络。8.根据权利要求7所述的方法，其特征在于，所述预设模型包括第一预设网络、第二预设网络及第三预设网络；所述根据所述训练样本图像及所述先验样本图对预设模型进行训练，得到所述第一神经网络、所述第二神经网络及所述第三神经网络，包括：将所述多张先验样本图输入到所述第一预设网络进行特征提取，生成第一训练特征；将所述训练样本图像输入到所述第二预设网络，并利用所述第一训练特征调制所述第二预设网络的输出特征，生成第二训练特征；通过所述第三预设网络对所述训练样本图像及所述第二训练特征进行处理，得到处理后的图像；根据所述处理后的图像调整所述预设模型的参数，直到达到预设训练结束条件，并将训练后的所述第一预设网络作为所述第一神经网络、训练后的所述第二预设网络作为所述第二神经网络、训练后的所述第三预设网络作为所述第三神经网络。9.一种图像处理装置，其特征在于，包括：获取模块，用于获取待处理图像及所述待处理图像对应的...

【专利技术属性】
技术研发人员：李卫，汪涛，程震，宋风龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：