一种基于先验知识约束的图像修复方法、系统以及计算机设备技术方案

本申请涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备，其中图像修复方法，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，结合该缺失内容生成网络的隐变量求出修复后图像。

An Image Repair Method, System and Computer Equipment Based on Prior Knowledge Constraints

【技术实现步骤摘要】
一种基于先验知识约束的图像修复方法、系统以及计算机设备
本文涉及图像修复
，具体涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备。
技术介绍
图像修复技术作为数字图像处理领域一个比较大且热门的研究方向在国内外都受到了很大的关注，这一概念最早是由Beralmio等人]在2000年的Siggraph会议上提出的，图像修复概念的提出是受到了以往手工修补艺术图像的启发，至今已经有将近二十年的发展历程。Beralmio等人的缺点也较为明显，运算量大且没有考虑图像修复的完整性，修复效果相对较差。Telea在Bertalmio的基础上提出了一种快速行进算法(FastMarchingMethod,FMM),Chan提出了一种利用欧拉-拉格朗日(Euler-Lagrange)方程和各向异性扩散的方式来保持等照度线方向的方法，称之为整体变分(totalvariation,TV)。为了满足视觉连通性，Chan等人对TV模型进行改进，提出基于曲率扩散(Curvature-DrivenDiffusion,CDD)的修复模型。相关算法还有，Tasi]提出的Mumford-Shah模型，Chan等人提出的Euler’sElastica模型，EsedogluS]等人提出的Mumford-Shah-Euler模型。基于纹理合成的图像修复算法起源于Efros]等人提出一种用于纹理合成的非参数方法。Bertalmio等人]将图像分解成两个部分：结构子图和纹理子图，结构子图利用基于扩散的方法进行修复，纹理子图则用纹理综合的方法填充。Drori等人]引入了多个尺寸和方向来找到更好的匹配补丁，提出了一种基于碎片的图像修复方法。Criminisi等人提出了一种采样填充图像的修复算法，大大的提升了图像修复的最终效果质量。Barnes等人提出的PatchMatch是近年来运用的较为广泛的图像修复算法之一，基于快速近似最近邻的思想大大提高了算法的运行效率。近几年，深度神经网络被引入用于纹理合成和图形样式化中，Phatak等人训练由编码-生成结构和生成对抗网络]组成的上下文编码器直接预测缺失的图像区域。该算法能够预测合理的图像结构，并且速度非常快。该方法无法处理处理高分辨率图像。为了解决高分辨率图像问题，ChaoYang等人在Context-encoder]和LiandWand所做的研究工作的基础上提出了一种基于图像内容和纹理约束的联合优化的多尺度神经补片合成的方法，该方法大大提高了视觉质量相似的想法还有RuohanGao等人提出的按需学习的算法，在前人的工作上的基础上，提出训练具有深度卷积神经网络的图像修复模型，利用反馈机制自我生成最需要的训练实例，从而学习可以跨难度层次推广的模型。基于卷积神经网络的图像修复算法在传统修复算法的基础上进行了比较大的改进，也取得了不错的效果，但是仍然存在修复内容不可控、修复的效果人工痕迹严重等问题。
技术实现思路
本文针对上述问题提出基于感知领域特征先验约束的图像修复方法，在对缺失区域的生成时使用了条件网络自己学习到的领域特征作为先验条件约束确保能生成真实合理的图像，再通过待修复图像的背景对生成的图像背景内容进行约束以及缺失区域周围纹理信息对修复内容进行纹理约束最终得到高质量的修复图像。一种基于先验知识约束的图像修复方法，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。可选的，所述约束条件包括像素内容约束、特征内容约束、背景知识约束和纹理平滑约束。可选的，所述约束条件采用如下损失函数表达：其中：为总体损失，并预先设定有阈值，所述生成器输出修复后图像的总体损失需符合该阈值；为像素内容损失，为特征内容损失，为对抗损失，为平滑损失，分别对应所述像素内容约束、特征内容约束、背景知识约束和纹理平滑约束；λ1、λ2、λ3、λ4分别为对应的预定义权重系数。可选的，所述生成器包括依次配置的编码部分和生成部分，所述编码部分采用神经网络模型，包括五个卷积层和一个全连接层。可选的，所述全连接层输出的特征向量即所述隐变量，该隐变量还作为所述生成部分的输入。可选的，所述条件网络为提前训练好的分类网络，用于识别修复前、后的图像是否属于同一类别。本申请还提供一种基于先验知识约束的图像修复系统，包括：第一模块，用于构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；第二模块，用于构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；第三模块，用于基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；第四模块，用于将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述基于先验知识约束的图像修复方法的步骤。本申请有益效果如下：通过深度神经网络提取到的先验知识(领域感知特征)作为先验条件约束条件来生成待修复的内容，使得修复后的图像质量更好。对缺失内容修复结果进行内容和纹理约束，使最终的修复图像的背景尽可能贴近原始图像，缺失区域的纹理和周围的纹理有很好的衔接。附图说明图1为其中一实施例中利用缺失内容生成网络实施图像修复方法的原理示意图；图2为其中一实施例中缺失内容生成网络的网络架构示意图；图3为本申请计算机设备的硬件构架图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。各实施例中的步骤并不是必然按照叙述的先后顺序依次执行，除非本文中有明确的说明，至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。本申请提出一种基于先验知识约束的图像修复方法，在对图像缺失区域的内容生成时使用了预先学习到的先验知识约束来确保生成的内容真实合理，然后通过待修复图像的背景对生成的图像背景内容进行像素和特征级别的约束以及对修复内容进行纹理约束，最终得到高质量的修复图像。本申请利用多种约束以及分本文档来自技高网...

【技术保护点】
1.一种基于先验知识约束的图像修复方法，其特征在于，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。

【技术特征摘要】
1.一种基于先验知识约束的图像修复方法，其特征在于，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。2.如权利要求1所述的基于先验知识约束的图像修复方法，其特征在于，所述约束条件包括像素内容约束、特征内容约束、背景知识约束和纹理平滑约束。3.如权利要求2所述的基于先验知识约束的图像修复方法，其特征在于，所述约束条件采用如下损失函数表达：其中：为总体损失，并预先设定有阈值，所述生成器输出修复后图像的总体损失需符合该阈值；为像素内容损失，为特征内容损失，为对抗损失，为平滑损失，分别对应所述像素内容约束、特征内容约束、背景知识约束和纹理平滑约束；λ1、λ2、λ3、λ4分别为对应的预定义权重系数。4.如权利要求1所述的基于先验知识约束的图像修复方法，其特征在于，所述生成器包括依次配置的编码部...

【专利技术属性】
技术研发人员：张根源，
申请(专利权)人：浙江传媒学院，
类型：发明
国别省市：浙江,33