基于内容感知生成模型的图像修复方法技术

本发明专利技术提供一种基于内容感知生成模型的图像修复方法，包括步骤：S1：采用数据集；所述数据集包括训练集和测试集；S2：将所述训练集中有缺失的图片输入至一粗修复网络，生成粗结果；S3：将所述粗结果传送给一细修复网络，获得细结果；S4：将原始图片分别与所述粗结果和所述细结果做L1loss函数；S5：将所述原始图片分别与所述粗结果和所述细结果做Perceptual loss损失函数；S6：迭代200000次后，获得最优生成模型；S7：将所述最优生成模型用于老旧照片图像，进行图像修复。本发明专利技术的一种基于内容感知生成模型的图像修复方法，修复效果好。

Image restoration based on content aware generation model

【技术实现步骤摘要】
基于内容感知生成模型的图像修复方法
本专利技术涉及图像修复领域，尤其涉及一种基于内容感知生成模型的图像修复方法。
技术介绍
随着计算机视觉的发展及其在图像处理、图像增强等领域的应用，数字图像修复已成为计算机视觉的重要研究领域。数字图像修复技术是使用待修复图像中的已知信息来填充其未知信息的一项技术。在图像修复领域中，人们通常将未知信息称为“空洞或者mask”，通过mask的形式表达出来。数字图像修复技术在很多领域都得到了十分广泛的应用，比如老旧照片对复原、去除图像中不需要的文字或者其他部分、计算机图像信息在传输中个人隐私的保护等。因此，数字图像修复技术有着重要的研究意义。目前，图像修复的方法主要有两类：一种是修复面积比较小的，通常称为ImageInpainting，这种算法是目前已经能处理的比较完美的一类；另一种是面积相对较大一些的算法，人们称其为ImageCompletion，也是图像修复的难点之一。目前传统的图像修复算法主要有以下几种：1.使用变分法对修复区域进行修复，这种算法在修复过程中需要不断迭代，运行缓慢，效果一般，对于修复区域面积稍大一些就会产生模糊。2.基于边界的优先级顺序填充算法，该算法属于一种贪心算法，主要分为以下几步：(1)在需要修复区域的轮廓上计算相应权重，选择权重中最大的点作为待填充点。(2)在该店周围选取一个一定大小的patch，在图像其他区域中寻找该patch的最近邻patch。(3)将最近拎patch对应填充到需要填充的mask区域，重复上述步骤，直到所有像素点都填充完毕。这种算法比较简单，是一个基于轮廓优先级的算法，存在的一个明显弊端就是无法保证最终整体的填充效果。3.PatchMatch算法，PatchMatch算法就是一个找ApproximateNearestneighbor的方法，相比于ANN算法速度上快了至少10倍。PatchMatch算法的核心思想是利用图像的连续性，图像patch某像素附近的最可能出现在Patch此像素的最近邻附近，利用图像的连续性大量减少搜索范围，通过迭代使像素点尽快收敛。现有的图像修复工作主要分为两类，一类是上述提及的传统算法，第二类就是尝试通过基于学习的方法来解决inpainting的问题，例如训练深度卷积神经网络来预测缺失区域的像素。近年来，深度学习和基于GAN的方法已经成为一种很有前途的图像修复方法。X.mao等最初训练卷积神经网络用于小区域等去噪和inpainting。上下文编码器首先训练用于修复大孔的深度神经网络。训练在128*128的图像中完成64*64的中心区域，以L2像素级重构损失和生成对抗损失为目标函数。最近，Lizuka等人通过引入全局和局部的判别器作为对抗性损失来改进它。全局判别器对完整图像的整体一致性进行评价，而局部判别器则对生成区域的一小块区域进行聚焦，以增强局部一致性。随着深度学习(DeepLearning)的不断发展，其在各领域取得了较多的成果，其中也包含了对图像修复领域的研究。但是由于数据的的缺失，这样的基于深度学习的方法并不多见。
技术实现思路
针对上述现有技术中的不足，本专利技术提供一种基于内容感知生成模型的图像修复方法，修复效果好。为了实现上述目的，本专利技术提供一种基于内容感知生成模型的图像修复方法，包括步骤：S1：采用数据集，所述数据集采用CelebA数据集、ImageNet数据集或Places2数据集；所述数据集包括训练集和测试集；S2：将所述训练集中有缺失的图片输入至一粗修复网络，生成粗结果；S3：将所述粗结果传送给一细修复网络，获得细结果；S4：将原始图片分别与所述粗结果和所述细结果做L1loss函数；S5：将所述原始图片分别与所述粗结果和所述细结果做Perceptualloss损失函数；S6：迭代200000次后，获得最优生成模型；S7：将所述最优生成模型用于老旧照片图像，进行图像修复。优选地，所述L1loss函数包括：所述原始图片与所述粗结果的L1loss和所述原始图片与所述细结果的L1loss；Perceptualloss损失函数包括：所述原始图片与所述粗结果的Perceptualloss和所述原始图片与所述细结果的Perceptualloss。优选地，所述L1loss包括所述原始图片的mask区域和所述粗结果的mask区域、所述原始图片的mask区域和所述细结果mask区域、所述原始图片的整图和所述细结果区域；所述Perceptualloss计算所述原始图片的mask区域和所述细结果的mask区域，最终将L1loss和Perceptualloss相加，求出损失函数的最小值。优选地，所述粗修复网络和所述细修复网络的编码层和解码层采用四层空洞卷积；所述粗修复网络还包括四层密集残差模块。优选地，还包括步骤采用WGAN结构的判别器对所述细结果进行全局限制和局部限制。本专利技术由于采用了以上技术方案，使其具有以下有益效果：SSIM和PSNR是两种全参考的图像质量评价指标，在现有计算机视觉领域顶级会议中，图像修复的结果已经达到人眼基本无法辨别的程度，本专利技术在此基础上有1～3个单位的提升。对于老旧照片补全和去除图像中不需要的物体均有重大研究意义。附图说明图1为本专利技术实施例的基于内容感知生成模型的图像修复方法的流程图。具体实施方式下面根据附图1，给出本专利技术的较佳实施例，并予以详细描述，使能更好地理解本专利技术的功能、特点。请参阅图1，本专利技术实施例的一种基于内容感知生成模型的图像修复方法，包括步骤：S1：采用数据集，数据集采用CelebA数据集、ImageNet数据集或Places2数据集；数据集包括训练集和测试集；S2：将训练集中有缺失的图片输入至一粗修复网络CoarseNetwork中生成CoarseResultG(x)，即生成粗结果y1；S3：将粗结果传送给一细修复网络RefinementNetwork，获得细结果F(G(x))，即y2；S4：将原始图片分别与粗结果和细结果做L1loss函数；S5：将原始图片分别与粗结果和细结果做Perceptualloss损失函数；S6：迭代200000次后，获得最优生成模型；S7：将最优生成模型用于老旧照片图像，进行图像修复。优选地，L1loss函数包括：原始图片与粗结果的L1loss和原始图片与细结果的L1loss；Perceptualloss损失函数包括：原始图片与粗结果的Perceptualloss和原始图片与细结果的Perceptualloss。优选地，L1loss包括原始图片的mask区域和粗结果的mask区域、原始图片的mask区域和细结果mask区域、原始图片的整图和细结果区域；Perceptualloss计算原始图片的mask区域和细结果的mask区域，最终将L1loss和Percep本文档来自技高网...

【技术保护点】
1.一种基于内容感知生成模型的图像修复方法，包括步骤：/nS1：采用数据集，所述数据集采用CelebA数据集、ImageNet数据集或Places2数据集；所述数据集包括训练集和测试集；/nS2：将所述训练集中有缺失的图片输入至一粗修复网络，生成粗结果；/nS3：将所述粗结果传送给一细修复网络，获得细结果；/nS4：将原始图片分别与所述粗结果和所述细结果做L1loss函数；/nS5：将所述原始图片分别与所述粗结果和所述细结果做Perceptual loss损失函数；/nS6：迭代200000次后，获得最优生成模型；/nS7：将所述最优生成模型用于老旧照片图像，进行图像修复。/n

【技术特征摘要】
1.一种基于内容感知生成模型的图像修复方法，包括步骤：
S1：采用数据集，所述数据集采用CelebA数据集、ImageNet数据集或Places2数据集；所述数据集包括训练集和测试集；
S2：将所述训练集中有缺失的图片输入至一粗修复网络，生成粗结果；
S3：将所述粗结果传送给一细修复网络，获得细结果；
S4：将原始图片分别与所述粗结果和所述细结果做L1loss函数；
S5：将所述原始图片分别与所述粗结果和所述细结果做Perceptualloss损失函数；
S6：迭代200000次后，获得最优生成模型；
S7：将所述最优生成模型用于老旧照片图像，进行图像修复。


2.根据权利要求1所述的基于内容感知生成模型的图像修复方法，其特征在于，所述L1loss函数包括：所述原始图片与所述粗结果的L1loss和所述原始图片与所述细结果的L1loss；
Perceptualloss损失函数包括：所述原始图片与所述粗...

【专利技术属性】
技术研发人员：张焱，张娟，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海;31