图像修复模型的训练方法及图像修复方法、装置及设备制造方法及图纸

本申请实施例公开了图像修复模型的训练方法及图像修复方法、装置及设备，通过对真实第一像素质量图像和人工合成第一像素质量图像进行图像特征提取，以及通过真实第一像素质量图像生成器和真实第二像素质量图像生成器，得到重新生成的真实第一像素质量图像、伪真实第一像素质量图像和重建第二像素质量图像；分别计算域对齐损失、图像生成损失以及图像重建损失，利用得到的损失进行训练。训练后得到的图像修复模型具有更好的泛化能力，对图像的修复较为准确，具有较好的模型性能。利用训练得到的图像特征编码器和真实第二像素质量图像生成器，对待修复第一像素质量图像进行修复，可以得到修复效果较好的第二像素质量图像，符合图像使用的需要。

【技术实现步骤摘要】
图像修复模型的训练方法及图像修复方法、装置及设备
本申请涉及图像处理领域，具体涉及一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备。
技术介绍
在图像的生成以及处理的过程中，可能会受到设备的影响，导致图像的像素质量较低，不能满足图像使用的需要。为了提高较低像素质量图像的像素质量，可以采用图像超分辨率重建技术对较低像素质量的图像进行处理，提高较低像素质量图像的像素质量，得到具有较高像素质量的图像。目前，图像超分辨率重建技术具体可以通过由卷积神经网络构建的图像修复模型实现。图像修复模型需要通过训练图像训练生成。用于训练图像修复模型的训练图像对生成的图像修复模型的性能会产生较大的影响。训练图像一般使用人工构造的较低像素质量图像和较高像素质量图像。而人工构造的较低像素质量图像的质量较低，导致训练得到的图像修复模型的性能较差，不能满足图像像素质量修复的需要。因此，如何训练生成性能较好的图像修复模型，生成质量较高的修复图像是亟待解决的问题。
技术实现思路
有鉴于此，本申请实施例提供一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备，能够训练得到性能较好的图像修复模型，并基于图像修复模型实现对较低像素质量图像进行修复，得到较为准确的较高像素质量图像。为解决上述问题，本申请实施例提供的技术方案如下：第一方面，本申请实施例提供一种图像修复模型的训练方法，所述方法包括：将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；根据所述第一图像特征以及所述第二图像特征计算域对齐损失；根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。第二方面，本申请实施例提供一种图像修复方法，所述方法包括：将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项实施例所述的图像修复模型的训练方法训练得到的。第三方面，本申请实施例提供一种图像修复模型的训练装置，所述装置包括：第一执行单元，用于将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；第二执行单元，用于将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；第三执行单元，用于将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；第四执行单元，用于将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；第五执行单元，用于将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；第一计算单元，用于根据所述第一图像特征以及所述第二图像特征计算域对齐损失；第二计算单元，用于根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；第三计算单元，用于根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；训练单元，用于根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。第四方面，本申请实施例提供一种图像修复装置，所述装置包括：第八执行单元，用于将待修复第一像素质量图像输入图像特征编码器，得到目标图像特征；第九执行单元，用于将所述目标图像特征输入真实第二像素质量图像生成器，得到修复后的第二像素质量图像；所述图像特征编码器以及所述真实第二像素质量图像生成器是根据上述任一项实施例所述的图像修复模型的训练方法训练得到的。第五方面，本申请实施例提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。第六方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。由此可见，本申请实施例具有如下有益效果：本申请实施例提供一种图像修复模型的训练方法、装置及设备，通过将真实第一像素质量图像和人工合成第一像素质量图像分别输入图像特征编码器，得到对应的第一图像特征和第二图像特征；再将第一图像特征和第二图像特征分别输入真实第一像素质量图像生成器中，对应的得到重新生成的真实第一像素质量图像和伪真实第一像素质量图像；再将第二图像特征输入至真实第二像素质量图像生成器中，得到重建第二像素质量图像；基于得到的图像特征和像素质量图像，分别计算域对齐损失、图像生成损失以及图像重建损失，并基于计算得到的损失训练图像特征编码器、真实第一像素质量图像生成器以及真实第二像素质量图像生成器；重复执行上述训练过程，直到达到预设条件。基于域对齐损失、图像生成损失和图像重建损失，可以更好地减小真实较低像素质量图像与人工合成的较低像素质量图像之间的差距，减小生成的模拟真实场景下较低像素质量图像和实际真实场景下较低像素质量图像之间的差距，减小生成的模拟真实场景下较高像素质量图像与实际真实场景下较高像素质量图像之间的差距，使得基于计算的损失训练得到的图像修复模型具有较好的泛化能力和修复能力，具有较好的模型性能。本申请实施例提供的图像修复方法、装置及设备，通过利用上述图像修复模型生成本文档来自技高网...

【技术保护点】
1.一种图像修复模型的训练方法，其特征在于，所述方法包括：/n将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；/n将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；/n将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；/n将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；/n将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；/n根据所述第一图像特征以及所述第二图像特征计算域对齐损失；/n根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；/n根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；/n根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；/n其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。/n...

【技术特征摘要】
1.一种图像修复模型的训练方法，其特征在于，所述方法包括：
将真实第一像素质量图像输入图像特征编码器，得到第一图像特征；
将人工合成第一像素质量图像输入所述图像特征编码器，得到第二图像特征；所述人工合成第一像素质量图像是由真实第二像素质量图像进行模糊处理得到的；
将所述第一图像特征输入真实第一像素质量图像生成器，得到重新生成的真实第一像素质量图像；
将所述第二图像特征输入所述真实第一像素质量图像生成器，得到伪真实第一像素质量图像；
将所述第二图像特征输入真实第二像素质量图像生成器，得到重建第二像素质量图像；
根据所述第一图像特征以及所述第二图像特征计算域对齐损失；
根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失；
根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，重复执行所述将真实第一像素质量图像输入图像特征编码器，得到第一图像特征以及后续步骤，直到达到预设条件；
其中，第一像素质量的图像清晰度低于第二像素质量的图像清晰度。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述伪真实第一像素质量图像输入所述图像特征编码器，得到第三图像特征；
根据所述第二图像特征以及所述第三图像特征计算内容一致性损失；
所述根据所述域对齐损失、所述图像生成损失以及所述图像重建损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器，包括：
所述根据所述域对齐损失、所述图像生成损失、所述图像重建损失以及所述内容一致性损失，训练所述图像特征编码器、所述真实第一像素质量图像生成器以及所述真实第二像素质量图像生成器。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第三图像特征输入所述真实第二像素质量图像生成器，得到伪真实重建第二像素质量图像；
所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算图像重建损失，包括：
根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失；
根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失；所述第一图像重建损失以及所述第二图像重建损失组成图像重建损失。


4.根据权利要求1所述的方法，其特征在于，所述根据所述重新生成的真实第一像素质量图像、所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算图像生成损失，包括：
根据所述重新生成的真实第一像素质量图像以及所述真实第一像素质量图像计算第一图像生成损失；
根据所述伪真实第一像素质量图像以及所述真实第一像素质量图像计算第二图像生成损失；所述第一图像生成损失以及所述第二图像生成损失组成图像生成损失。


5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像特征以及所述第二图像特征计算域对齐损失，包括：
将所述第一图像特征输入特征判别器，得到第一概率值；
将所述第二图像特征输入所述特征判别器，得到第二概率值；
根据所述第一概率值以及所述第二概率值，计算域对齐损失。


6.根据权利要求2所述的方法，其特征在于，所述根据所述第二图像特征以及所述第三图像特征计算内容一致性损失，包括：
计算所述第二图像特征以及所述第三图像特征之间的1-范数；
根据所述第二图像特征以及所述第三图像特征之间的1-范数，计算内容一致性损失。


7.根据权利要求3所述的方法，其特征在于，所述根据所述重建第二像素质量图像以及所述真实第二像素质量图像计算第一图像重建损失，包括：
计算所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数；
根据所述重建第二像素质量图像以及所述真实第二像素质量图像之间的1-范数，计算第一图像重建损失。


8.根据权利要求3所述的方法，其特征在于，所述根据所述伪真实重建第二像素质量图像以及所述真实第二像素质量图像计算第二图像重建损失，包括：
计算所述伪真实重建第二像素质量图像以及所述真实第...

【专利技术属性】
技术研发人员：王伟，袁泽寰，王长虎，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11