一种模型训练及图像去雾方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种模型训练及图像去雾方法、装置、设备及存储介质，涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等技术领域。具体实现方案为：将获取到的有雾图像输入预设模型，得到有雾图像的雾气特征以及去雾图像，雾气特征用于表征有雾图像中与雾气相关的特征；基于有雾图像的雾气特征以及去雾图像，确定与有雾图像对应的重建图像；基于重建图像和有雾图像组成的第一图像对，以及去雾图像和预先标注的去雾图像对应的清晰图像组成的第二图像对，训练预设模型得到目标模型。训练预设模型得到目标模型。训练预设模型得到目标模型。

【技术实现步骤摘要】
一种模型训练及图像去雾方法、装置、设备及存储介质


[0001]本公开涉及图像处理
，尤其涉及计算机视觉、深度学习等


技术介绍

[0002]图像去雾是指由一幅包含雾气的图像作为输入，获取清晰图像的方法。在图像识别领域，现实场景中的雾气会对场景中的物体造成遮挡，严重影响计算机视觉技术的应用。
[0003]相关图像去雾技术通常基于数据先验或者深度学习回归的方法，基于此进行的图像去雾往往导致泛化性较差或者图像去雾的质量较低。

技术实现思路

[0004]本公开提供了一种模型训练及图像去雾方法、装置、设备及存储介质。
[0005]根据本公开的一方面，提供了一种模型训练的方法，该方法可以包括以下步骤：
[0006]将获取到的有雾图像输入预设模型，得到有雾图像的雾气特征以及去雾图像；雾气特征用于表征有雾图像中与雾气相关的特征；
[0007]基于有雾图像的雾气特征以及去雾图像，确定与有雾图像对应的重建图像；
[0008]基于重建图像和有雾图像组成的第一图像对，以及去雾图像和预先标注的去雾图像对应的清晰图像组成的第二图像对，训练预设模型，得到目标模型。
[0009]根据本公开的另一方面，提供了一种图像去雾的方法，该方法可以包括以下步骤：
[0010]获取目标图像，目标图像包括有雾图像；
[0011]将目标图像输入到目标模型中，得到目标图像的去雾图像；
[0012]其中，目标模型是通过前述方法生成的。
[0013]根据本公开的另一方面，提供了一种模型训练的装置，该装置可以包括：
[0014]去雾图像确定模块，用于将获取到的有雾图像输入预设模型，得到有雾图像的雾气特征以及去雾图像；雾气特征用于表征有雾图像中与雾气相关的特征；
[0015]重建图像确定模块，用于基于有雾图像的雾气特征以及去雾图像，确定与有雾图像对应的重建图像；
[0016]训练模块，用于基于重建图像和有雾图像组成的第一图像对，以及去雾图像和预先标注的去雾图像对应的清晰图像组成的第二图像对，训练预设模型，得到目标模型。
[0017]根据本公开的另一方面，提供了一种图像去雾的装置，该装置可以包括：
[0018]接收模块，用于获取目标图像，目标图像包括有雾图像；
[0019]去雾模块，用于将目标图像输入到目标模型中，得到目标图像的去雾图像；
[0020]其中，目标模型是通过前述装置生成的。
[0021]根据本公开的另一方面，提供了一种电子设备，包括：
[0022]至少一个处理器；以及
[0023]与该至少一个处理器通信连接的存储器；其中，
[0024]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器
执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0025]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0026]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0027]根据本公开的技术，在训练阶段获得图像去雾模型后，基于去雾模型的测试性能可以重新更改训练阶段的训练数据，提升模型的学习率以及训练迭代次数，优化整个模型的性能。由此可以解决现有图像去雾技术中存在的泛化性较差或者去雾质量较低的技术问题。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是根据本公开模型训练方法的流程图；
[0031]图2是根据本公开模型训练及图像去雾方法的示意图；
[0032]图3是根据本公开确定去雾图像的方法流程图；
[0033]图4是根据本公开确定第一特征图的方法流程图；
[0034]图5是根据本公开确定第二特征图的方法流程图；
[0035]图6是根据本公开调整模型参数的方法流程图；
[0036]图7是根据本公开模型训练装置的结构图；
[0037]图8是根据本公开去雾图像确定模块的结构图；
[0038]图9是根据本公开图像去雾装置的结构图；
[0039]图10是用来实现本公开实施例的模型训练及图像去雾方法的电子设备的框图。
具体实施方式
[0040]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0041]如图1所示，本公开涉及一种模型训练的方法，该方法可以包括以下步骤：
[0042]S101：将获取到的有雾图像输入预设模型，得到有雾图像的雾气特征以及去雾图像；
[0043]S102：基于有雾图像的雾气特征以及去雾图像，确定与有雾图像对应的重建图像；
[0044]S103：基于重建图像和有雾图像组成的第一图像对，以及去雾图像和预先标注的去雾图像对应的清晰图像组成的第二图像对，训练预设模型，得到目标模型。
[0045]本实施例可以应用于计算机设备，具体可以包括但并不局限于服务器，或者多个服务器构成的服务器集，或者是具有一定数据处理能力，尤其是图像处理能力的终端设备等，该终端设备可以包括但并不限于：智能手机、平板电脑、可穿戴设备、超级移动个人计算
机(ultra
‑
mobile personal computer，UMPC)、上网本、台式计算机等，本申请对计算机设备的产品类型不做限定。
[0046]图2示出了本公开实施例中预设模型的训练应用场景，其中有雾图像是指在云、雾气或雾霾的影响下而得到的图像，无雾图像一般是指没有云、雾气或雾霾的影响下而得到的图像。可以理解的是，无雾图像通常要比有雾图像更加清晰。其中，有雾图像可以为预先采集的原始图像，例如用户在雾天拍摄的一幅照片。也可以是对原始图像经过预处理后得到的加工图像，例如，对原始图像进行裁剪，得到多张预设尺寸的裁剪图像。
[0047]此外，有雾图像可以是彩色图像，也可以是灰度图像。其图像格式及分辨率等参数不受限制，可以被执行主体读取识别即可。
[0048]本实施例中的预设模型可以采用任一结构的具有图像特征提取功能的网络，例如可以是域自适应图像去雾网络、GCANet(Gated Context Aggregation Network，门控上下文聚合网络)、Gated Fusion Network(门限融合网络)、Deh本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：将获取到的有雾图像输入预设模型，得到所述有雾图像的雾气特征以及去雾图像；所述雾气特征用于表征所述有雾图像中与雾气相关的特征；基于所述有雾图像的雾气特征以及所述去雾图像，确定与所述有雾图像对应的重建图像；基于所述重建图像和所述有雾图像组成的第一图像对，以及所述去雾图像和预先标注的所述去雾图像对应的清晰图像组成的第二图像对，训练所述预设模型，得到目标模型。2.根据权利要求1所述的方法，其中，所述有雾图像的雾气特征以及去雾图像的确定方式，包括：对所述有雾图像进行特征提取及通道增强处理，得到第一特征图；对所述第一特征图进行像素增强处理，得到第二特征图；对所述第二特征图进行特征映射，得到所述有雾图像的雾气特征以及所述去雾图像。3.根据权利要求2所述的方法，其中，所述对所述有雾图像进行特征提取及通道增强处理，得到第一特征图，包括：分别确定所述有雾图像各通道的通道权重；利用所述通道权重对所述各通道的图像特征进行加权运算，得到所述第一特征图。4.根据权利要求2所述的方法，其中，所述对所述第一特征图进行像素增强处理，得到第二特征图，包括：分别确定所述第一特征图中各像素点的像素权重；利用所述像素权重对所述第一特征图的各像素进行加权运算，得到所述第二特征图。5.根据权利要求1所述的方法，其中，在所述有雾图像的雾气特征包括光照信息和透光率信息的情况下，所述预设模型包括主干网络、第一分支网络以及第二分支网络；其中，所述主干网络用于确定所述去雾图像；所述第一分支网络用于确定所述有雾图像的所述光照信息；所述第二分支网络用于确定所述有雾图像的所述透光率信息。6.根据权利要求5所述的方法，其中，所述基于所述有雾图像的雾气特征以及所述去雾图像，确定与所述有雾图像对应的重建图像，包括利用以下公式进行计算：I(x)＝J(x)t(x)+A(x)(1
‑
t(x))；其中，x表示像素点，I(x)表示所述重建图像，J(x)所述去雾图像，t(x)表示所述有雾图像的透光率，A(x)表示所述有雾图像的光照信息。7.根据权利要求1所述的方法，其中，所述基于所述重建图像和所述有雾图像组成的第一图像对，以及所述去雾图像和预先标注的所述去雾图像对应的清晰图像组成的第二图像对，训练所述预设模型，包括：采用损失函数确定所述第一图像对对应的第一损失值以及所述第二图像对对应的第二损失值；利用所述第一损失值和所述第二损失值，调整上述预设模型的参数。8.一种图像去雾方法，包括：获取目标图像，所述目标图像包括有雾图像；将所述目标图像输入到目标模型中，得到所述目标图像的去雾图像；
其中，所述目标模型是通过权利要求1
‑
7中任一所述方法生成的。9.一种模型训练装置，包括：去雾图像确定模块，用于将获取到的有雾图像输入预设模型，得到所述有雾图像的雾气特征以及去雾图像；所述雾气特征用于表征所述有雾图像中与雾气相关的特征；重建图像确定模块，用于基于所述有雾图像的雾气特征以及所述去雾图像，确定与所述有雾图像对应的重建图像；训练模块，用于基于所述重建图像和所述有雾图像组成的第一图像对，以及...

【专利技术属性】
技术研发人员：宋希彬，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：