一种壁画图像修复模型建立及修复方法技术

本发明专利技术公开了一种壁画图像修复模型建立及修复方法，通过采集壁画的原始数据，获得相应壁画数据集，对所述的壁画数据集进行预处理，构造多层对抗卷积神经网络并进行训练，获得壁画修复的多层卷积神经网络，利用训练所得到的壁画特征对破损的壁画提取特征并进行修复，最终得到修复后的壁画，本发明专利技术提供的方法通过对多层对抗卷积神经网络的改进，使用空洞卷积并对卷积后的结果进行拼接，并对损失函数进行了修改，使得网络能够获取更多的局部和全局特征，提高了基于多层对抗卷积神经网络的壁画修复方法的准确率。

A Method of Establishing and Repairing Mural Image Repair Model

【技术实现步骤摘要】
一种壁画图像修复模型建立及修复方法
本专利技术涉及图像修复方法，具体涉及一种壁画图像修复模型建立及修复方法。
技术介绍
壁画作为古人艺术的结晶，是人类最早记录事情，表达情感的手段之一，其在教堂、古墓、宫殿、寺庙等都有存在。但是因所处环境恶劣，经过岁月的磨砺，还有风蚀、雨淋、地震等因素的破坏，现存的壁画有不少存在残损。壁画作为人类漫长历史的见证人，有着不可或缺的地位，因此壁画修复的研究目前来说是一个比较急迫的任务。传统的壁画修复通常以人工为主，这不仅要求工作人员具备扎实的人文、美术、考古等知识，并且耗费大量时间，流程复杂。另外，人工修复过程中一旦出现纰漏，即会对文物造成不可逆的损坏。因此，为了克服以上缺点，我们希望能够使用计算机代替人工进行或辅助壁画修复来降低修复的复杂程度，同时，计算机中进行的任何修复都可以进行撤回或反演，避免了对壁画造成无法撤销的伤害。现有技术在对壁画进行修复时，基于偏微分方程的壁画修复技术比较适用于处理小范围的壁画裂纹，在面对大范围的壁画损坏区域时该算法几乎失效。而基于纹理的壁画修复技术虽说可以使用相似的壁画图像进行修复。但是，目前大部分的基于纹理的修复技术十分依赖人为的特征提取且存在没有考虑壁画结构信息或存在信息的错误传递导致修复后的壁画图像的峰值信噪比较低，使得修复准确率低以及修复效率低等问题。
技术实现思路
本专利技术的目的在于提供一种壁画图像修复模型建立及修复方法，用以解决现有技术中的壁画修复方法在对壁画图像进行修复时存在的准确率低等问题。为了实现上述任务，本专利技术采用以下技术方案：一种壁画图像修复模型建立方法，按照以下步骤执行：步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；其中，训练多层对抗神经网络时，采用式I作为损失函数L：L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv式I其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec为多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的像素差异值；Lg_adv为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的对抗损失值；Ll_adv多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的对抗损失值。进一步地，所述的多层对抗神经网络包括依次连接的卷积层、空洞卷积块、残差连接层、解码器以及判别器，所述的空洞卷积块包括多个并行的不同空洞率的空洞卷积层。进一步地，所述的解码器包括上采样层、卷积层以及激活函数层。进一步地，所述的激活函数层中激活函数为ELU函数。一种壁画图像修复方法，执行步骤A-B对待修复壁画图像进行修复：步骤A、采用步骤2对所述的待修复壁画图像进行预处理，获得预处理后的待修复壁画图像；步骤B、将所述的待修复壁画图像输入至所述的壁画修复模型中，获得修复后的壁画图像。本专利技术与现有技术相比具有以下技术效果：1、本专利技术提供的壁画图像修复模型建立及修复方法中没有采用现有技术中的反卷积层构建解码器，而是采用了上采样层和卷积层的方式构建解码器，避免了反卷积层带来的棋盘效应，提高了壁画修复的准确率；2、本专利技术提供的壁画图像修复模型建立及修复方法中通过在编码器中增加了空洞卷积块，提高了特征提取的准确性，从而提高了壁画图像修复的准确率；并且在增大网络接受域的同时能降低所需的计算量，提高的修复的效率；3、本专利技术提供的壁画图像修复模型建立及修复方法中通过对损失函数的修改与优化，使得网络能够获取更多的局部和全局特征，提高了基于多层对抗卷积神经网络的壁画修复方法的准确率。附图说明图1为本专利技术的一个实施例中提供的壁画修复模型中编码器结构示意图；图2为本专利技术的一个实施例中提供的壁画修复模型中空洞卷积块结构示意图；图3为本专利技术的一个实施例中提供的壁画修复模型中解码器结构示意图；图4为本专利技术的一个实施例中提供的壁画修复模型中判别器结构示意图；图5为本专利技术的一个实施例中提供的待修复壁画图像；图6为本专利技术的一个实施例中对如图5所示的待修复壁画图像的修复结果图。具体实施方式对抗卷积神经网络：采用了博弈论的思想，使用生成器和判别器相互博弈来进行自监督的人工神经网络。空洞卷积：在标准的卷积上注入空洞，达到在不大量增加参数的情况下增加接受域的一种卷积方式。编码器与解码器：编码器负责提取数据特征并将特征映射到隐空间进行编码，解码器负责将隐空间的特征进行解码并还原数据分布。判别器：判别器在对抗网络中作为生成器的“对手”，在整个对抗训练当中对生成器起到了监督的作用，判别器通过判别生成器生成数据的好坏，进而指导生成器调整自身参数生成更好的结果。对抗损失：由判别器给出的损失，负责指导生成器的参数调整。实施例一在本实施例中公开了一种壁画图像修复模型建立方法，按照以下步骤执行：步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；在本实施例中采集的壁画，可以通过现场拍摄、网络搜索等方式进行采集，获取的原始壁画图像可以为整幅壁画的局部区域或整体，但需要保证获取图像中的色彩和架构信息相对完整。本实施例中，采用互联网上搜集的敦煌壁画数据集作为原始壁画数据集，该数据即包括各个时期不同风格的敦煌壁画。其中破损壁画集包括的破损壁画是指经过分割后保存大部分壁画图像信息的壁画图像；残缺样本集包括的是分割出来的一小部分壁画图像。步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；由于原始壁画数据集的每幅图像格式或尺寸均不统一，在采用网络进行训练时，随着图像尺寸的增加参数随之增加，过多的参数会导致网络训练时间更长，且对硬件要求更苛刻，所以将图像缩放到合适的尺寸能够在不影响结果的情况下，极大的加快网络训练的速度，因为卷积网络对旋转敏感，所以可以采用旋转、镜像来扩增数据集来提高网络的性能。具体包括以下步骤：步骤2.1，对相应壁画进行剪裁，缩放到M*M尺寸，得到调整后的壁画图像；为了使得壁画图像缩放的相应尺寸，可以在原始图像上直接取N块M*M图像块，每个图像块可以重叠部分区域。也可选直接将整幅图像直接缩放到M*M尺寸。本次实施例中采用了临近插值的方法使得整幅图像直接缩放到256*256尺寸。步骤2.2，将调整后的每张原始壁画图像分别进行旋转、镜像，得到最终训练所需的数据集。为了进一步的提高网络的性能和修复图像的质量，通过本文档来自技高网...

【技术保护点】
1.一种壁画图像修复模型建立方法，其特征在于，按照以下步骤执行：步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；其中，在训练多层对抗神经网络时，采用式I作为损失函数L：L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv         式I其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec为多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的像素差异值；Lg_adv为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的对抗损失值；Ll_adv多层对抗神经网络输出的局部修复图像集与预处理后的残缺样本集之间的对抗损失值。...

【技术特征摘要】
1.一种壁画图像修复模型建立方法，其特征在于，按照以下步骤执行：步骤1、采集多幅完整壁画图像，获得壁画图像集；对壁画图像集中的每幅完整壁画图像进行分割后，获得破损壁画集以及残缺样本集；步骤2、对所述的破损壁画集、残缺样本集以及壁画图像集中的每一幅图像进行预处理，获得预处理后的破损壁画集、预处理后的壁画图像集以及预处理后的残缺样本集；所述的预处理包括裁剪、旋转以及镜像；步骤3、将所述的预处理后的破损壁画集输入至多层对抗神经网络中，获得整体修复图像集以及局部修复图像集；将所述的整体修复图像集以及局部修复图像集作为输出集，将所述的预处理后的壁画图像集以及预处理后的残缺样本集作为目标集，训练多层对抗神经网络，获得壁画修复模型；其中，在训练多层对抗神经网络时，采用式I作为损失函数L：L＝λ1Lg_rec+λ2Ll_rec+λ3Lg_adv+λ4Ll_adv式I其中，λ1、λ2、λ3以及λ4均为损失函数权重，λ1、λ2、λ3以及λ4均大于0，Lg_rec为多层对抗神经网络输出的修复图像集与预处理后的壁画图像集之间的像素差异值；Ll_rec...

【专利技术属性】
技术研发人员：冯宏伟，张鸣飞，张敏，冯筠，侯文静，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西,61