生成式对抗网络训练方法、图像补全方法、设备及存储介质技术

本申请实施例提供一种生成式对抗网络训练方法、图像补全方法、设备及存储介质。在本申请一些示例性实施例中，首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性。

Generative Countermeasure Network Training Method, Image Completion Method, Equipment and Storage Media

【技术实现步骤摘要】
生成式对抗网络训练方法、图像补全方法、设备及存储介质
本申请涉及数据处理
，尤其涉及一种生成式对抗网络训练方法、图像补全方法、设备及存储介质。
技术介绍
图像补全技术旨在合成图像中缺失或损坏的区域，是低级视觉中的基本问题。该技术已经引起了计算机视觉和图形领域的广泛兴趣，因为它可以用于补全被遮挡的图像区域或修复受损的照片。此外，分享照片之前，用户可能需要对图像进行修改，例如擦除分散注意力的场景元素，调整图像中的对象位置以获得更好的构图，或恢复遮挡图像区域中的图像内容等。这些以及其他许多编辑操作都需要自动补全图像缺失区域，这在过去的几十年里一直是计算机视觉和图形界的一个活跃的研究课题。目前，由于该问题的固有模糊性和自然图像的复杂性，为任意自然图像合成具有合理细节的内容仍然是一项具有挑战性的任务。目前，如果人们希望修复图像或者从图像中删除不期望的目标时，经常会选择AdobePhotoshop和CorelDrawPro等流行程序中的工具。然而，这些工具的修复功能并不完美，并且要求用户具有熟练的操作能力。图像补全技术面临的难题是以视觉上合理的方式填补留下的空白。在过去，主要采取从未损坏区域中找出现有的结构或信息，以粘贴的方式进行图像补全。但是这种方法只有当待补全的图像具有很强的结构性且各个区域的颜色等纹理信息具有很强的相似性时才能取得较好的效果。因此这种直接从周围信息截取图像块的方法不具有通用性。目前，深度学习得到了很大的发展。由于深度神经网络具有很强的学习能力，深度学习也被用于图像补全中。通常的基于深度学习的图像补全方法都是通过生成对抗网络(GenerateAdversialNetwork，GAN)完成。GAN中的生成器和判别器可以生成清晰且合理的纹理内容。但是现有的基于GAN的图像补全方法都具有较大的局限性。GAN采用编码器解码器结构，其中中间的两个完全连接层(FullyConnectedNetwoek，FCN)作为连接两个结构的中间层，第一个FCN将具有空间维度的卷积特征映射成一维向量，另一个FCN将该一维向量向后映射到具有空间信息的特征上。这个过程丢失了图像原有的空间信息；其次，判别器仅以合成区域作为输入而不考虑合成区域的上下文信息。因此，已有的用GAN方法进行图像补全的结果不能保持图像空间结构和上下文信息的一致性。
技术实现思路
本申请的多个方面提供一种生成式对抗网络训练方法、图像补全方法、设备及存储介质，在原始图像缺失面积较大和缺失区域位于边缘区域时，经过图像补全后的补全区域的纹理信息更加具有真实性，且保持与周围区域的局部一致性。本申请实施例提供一种图像补全方法，适用于计算设备，所述方法包括：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。本申请实施例还提供一种生成式对抗网络训练方法，适用于服务端设备，所述方法包括：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。本申请实施例还提供一种计算设备，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的步骤。本申请实施例还提供一种服务端设备，包括：一个或多个处理器以及一个或多个存储计算机程序的存储器；所述一个或多个处理器，用于执行所述计算机程序，以用于：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像和原始图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。本申请实施例一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行上述方法中的步骤。在本申请一些示例性实施例中，服务端设备首先，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；接着，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；最后，利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；第一局部上下文判别器保持图像补全的局部一致性，全局上下文判别器保持图像补全的全局一致性，第二局部上下文判别器保证纹理信息的真实性和与补全中心区域与周围区域的一致性；此外采用三个判别器，平衡与补全网络之间的迭代速度，使得生成图像中补全区域的边缘更加真实自然。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请示例性实施例提供的一种生成式对抗网络训练方法的方法流程图；图2为本申请示例性实施例原始图像的各局部区域示意图；图3为本申请示例性实施例提供的一种图像补全方法的方法流程图；图4为采用本申请图像补全网络进行补全后的图像与现有方法补全图像的对比图；图5为本申请示例性实施例提供的一种计算设备的结构框图；图6为本申请示例性实施例提供的一种服务端设备的结构框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本本文档来自技高网...

【技术保护点】
1.一种图像补全方法，适用于计算设备，其特征在于，所述方法包括：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。

【技术特征摘要】
1.一种图像补全方法，适用于计算设备，其特征在于，所述方法包括：获取待补全图像，所述待补全图像含有缺失区域；将所述待补全图像输入预先训练出的图像补全网络，利用所述图像补全网络对所述缺失区域进行图像补全，得到补全后的图像；其中，所述图像补全网络是利用第一局部上下文判别器、第二局部上下文判别器和全局上下文判别器进行对抗训练得到的；所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。2.根据权利要求1所述的方法，其特征在于，获取待补全图像，包括：将原始图像中与图像内容不匹配的图像区域进行剪切，得到所述待补全图像；或者获取原本包含缺失区域的图像作为所述待补全图像。3.一种生成式对抗网络训练方法，适用于服务端设备，其特征在于，所述方法包括：利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像；其中，样本图像是原始图像增加缺失区域后形成的图像集；利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器；利用包含缺失区域的样本图像，通过第一局部上下文判别器、第二局部上下文判别器和全局判别器联合对初级补全网络进行对抗训练，得到图像补全网络；其中，所述第一局部上下文判别器保持图像补全的局部一致性，所述第二局部上下文判别器保持图像补全的中心一致性，所述全局上下文判别器保持图像补全的全局一致性。4.根据权利要求3所述的方法，其特征在于，利用包含缺失区域的样本图像，进行图像补全训练，得到初步补全网络和初步补全图像，包括：将所述样本图像和由所述样本图像二值化得到的二值图像作为输入参数，利用包含缺失区域的样本图像与原始图像中与所述缺失区域相应区域的均方误差进行图像补全训练，得到初步补全网络；固定初步补全网络的网络参数，得到初步补全图像。5.根据权利要求3所述的方法，其特征在于，在利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器之前，还包括：从初步补全图像中提取第一局部图像和第二局部图像；其中，第一局部图像是初步补全图像中以补全区域为中心的图像块，第二局部图像是位于所述补全区域中心的图像块。6.根据权利要求5所述的方法，其特征在于，利用初步补全图像，进行判别器训练，得到第一局部上下文判别器、第二局部上下文判别器和全局判别器，包括：将第一局部图像输入初始判别器，以第一局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第一局部上下文判别器；将第二局部图像输入初始判别器，以第二局部图像与原始图像中的对应区域之间的对抗损失作为目标函数，对初始判别器进行训练，得到第二局部上下文判别器；将初步补全图像输入初始判别器，以初步补全图像与原始...

【专利技术属性】
技术研发人员：杨刚，冀俭俭，杨猛，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：北京,11