基于注意力调制对抗网络的图像修复方法、模型和装置制造方法及图纸

本发明专利技术公开了一种基于注意力调制对抗网络的图像修复方法、模型和装置：模型构建方法：步骤1：采集多幅墓葬壁画的图像；步骤2：将有实际破损的图像分为训练集、测试集、验证集；步骤3：将无实际破损的图像作为修复模型的训练集；步骤4：将训练集和测试集以及图像破损区位置送入改进后的检测网络中训练；步骤5：将修复模型的训练集和随机生成的二值掩码图像送入改进后的调制对抗生成网络中训练；步骤6：验证集送入检测模型再转换为二值图；步骤7：将壁画图像与二值图送入训练好的修复网络，得到修复好的图像。本发明专利技术能更有效地提取墓葬壁画特征，提高破损区域检测的准确性，并利用未破损图像结构和纹理信息重建高质量墓葬壁画图像。结构和纹理信息重建高质量墓葬壁画图像。结构和纹理信息重建高质量墓葬壁画图像。

【技术实现步骤摘要】
基于注意力调制对抗网络的图像修复方法、模型和装置


[0001]本专利技术属于图像处理
，具体涉及一种基于注意力调制对抗网络的图像修复方法、模型和装置。

技术介绍

[0002]中国古代壁画作为我国灿烂文化遗产中的一种独特的载体，不仅具有极高的艺术价值，还是研究我国古代社会风俗、生产生活方式的重要资料。但如今发现的墓葬壁画破损现象非常普遍，要想对其开展进一步研究，首要问题就是要对破损的墓葬壁画进行修复与保护。近年来，对于壁画的修复工作大多是人工进行修复，借助各种分析检测仪器以及新材料对传统的壁画修复方法进行升级。然而，借助新科技手段升级后的壁画修复方法依然存在着诸多问题。遭遇盗扰和破坏的墓葬壁画往往会有严重断裂和脱落现象，这导致了人工修复工作量大，工序复杂，修复周期过长等问题。对于不同的埋葬环境以及墓葬壁画不同的保存状况还要再具体调整修复方法，以免造成二次破坏。由此可见，墓葬壁画的人工修复难度较大，对修复人员的技术素养要求也较高。
[0003]对于人工壁画修复方法存在的问题，虚拟壁画修复方法提供了一个新的解决思路。虚拟壁画修复方法通过对高分辨率破损壁画图像的数字化修复，将壁画信息与文物本体分离开，可在不对原壁画进行操作的前提下恢复破损壁画的原貌，减少人工重复的工作量，更快的让艺术作品重现于世，同时符合“最小干预”理念，避免由于当今的技术问题而导致壁画的二次破坏现象，保留壁画最原始的信息，为壁画保护工作提供了支持。
[0004]对于破损墓葬壁画的修复工作，可以分为破损区检测以及破损区修复两个方面，其中在成功检测到了图片的破损区域后，可以依据破损区域生成掩模，只有根据掩模以及原图片才可以对图片进行针对性的修复，所以如何精准的检测到破损区域对于图片的修复是十分必要的前提条件。
[0005]在墓葬壁画破损区检测部分，现有的两阶段和基于查询的实例分割方法取得了显著成果。但是，它们的分段掩码仍然非常粗糙。因此有学者提出了用于高质量和高效实例分割的方法。该方法不是对常规密集张量进行操作，而是将图像区域分解并表示为四叉树。虽然这些稀疏像素只占总数的一小部分，但它们对最终的掩模质量至关重要。这使得该方法以较低的计算成本预测高度准确的实例掩码。
[0006]在墓葬壁画破损区修复部分，现有的图像修复方法大致可分为两类：传统图像修复方法和基于深度学习的图像修复方法。传统图像修复方法利用纹理、结构等低层次的图像先验信息，对小面积破损区域具有一定修复能力，但当破损区域较大时往往效果较差。基于深度学习的图像修复方法可以通过端到端的方式学习到深层次的图像语义特征，从而更加有效地对图像进行修复，其性能也超过了传统方法。早期的深度修复网络仅局限于针对矩形孔洞的修复，并且大多直接在破损图像上使用卷积滤波器，忽略了缺失区域对于图像修复结果的干扰，导致修复后图像出现纹理缺失、颜色失真、人造边缘以及各种类型的视觉伪影。近几年，生成对抗网络在图像编辑，图像生成等领域表现出色，有学者将生成对抗网
络用于图像修复领域，通过在生成对抗网络上增加协同调制等改进方法，在图像修复上取得了不错的效果。基于协同调制的生成对抗网络修复方法的关键在于将未破损部分的图像和潜在随机向量进行协同调制，利用二者在风格领域的线性相关性来提升生成对抗网络的生成效果，从而实现图像修复。
[0007]墓葬壁画往往结构复杂且残缺破损不一，结构信息的缺失会造成大量纹理信息的丢失，严重影响图像的检测和修复效果。现有的基于深度学习的图像检测和修复方法并不能很好地平衡针对图像结构和纹理的检测和修复，存在破损区误检过多和定位错误，以及结构修复不当以及修复后图像细节缺失等问题。这些问题限制了现有图像检测及修复算法在墓葬壁画数字化修复中的应用。且目前国内暂无针对墓葬壁画提出的破损区检测及修复一体化的方法、模型和装置。

技术实现思路

[0008]针对现有技术中的缺陷和不足，本专利技术提供一种基于注意力调制对抗网络的图像修复方法、模型和装置，通过建立破损区检测模型以及图像修复模型，将训练完成的模型用于墓葬壁画的破损区检测和修复。另外，将墓葬壁画破损区域检测和修复两个阶段一体化，解决了目前行业内将检测和修复分开做的问题，完善了墓葬壁画保护的流程化和智能化。同时也克服了现有深度学习技术直接应用在墓葬壁画图像中存在的破损区域误检过多和定位错误，以及图像结构修复不当导致修复后墓葬壁画图像细节缺失等问题，为今后深度学习在文化遗产数字化保护中的应用和推广提供了技术支撑。
[0009]为达到上述目的，本专利技术采取如下的技术方案：
[0010]一方面，提供一种基于注意力调制对抗网络的图像修复模型构建方法，具体包括以下步骤：
[0011]步骤1：采集多幅墓葬壁画的图像，获得墓葬壁画的数据集，将该数据集分为有实际破损的墓葬壁画和无实际破损的墓葬壁画两部分；
[0012]步骤2：将有实际破损的墓葬壁画图像分为训练集、测试集、验证集，并将训练集和测试集的墓葬壁画破损区使用标注工具标注出来，用于后续的检测模型训练；
[0013]步骤3：将无实际破损的墓葬壁画图像作为修复模型的训练集，并对这些图像进行处理，用于后续的修复模型训练；
[0014]步骤4：将步骤2得到的训练集和测试集以及相应标注好的图像破损区位置数据送入改进后的基于多重注意力机制的破损区检测网络中进行训练；所述改进后的基于多重注意力机制的破损区检测网络包括多重注意力模块和四叉树结构变换器模块；
[0015]步骤5：将步骤3中所述的修复模型的训练集和随机生成的二值掩码图像送入改进后的调制对抗生成网络中进行训练；
[0016]步骤6：对步骤2中的验证集进行处理，获得大小为512*512的有破损区域的墓葬壁画图像，并将该图片送入步骤4得到的训练好的墓葬壁画破损区检测模型中，该检测模型将检测到的破损区位置信息进行暂存，再直接转换为mask二值图；
[0017]步骤7：将步骤6中经过处理得到的墓葬壁画图像与该图像经过检测后得到的mask二值图一起送入步骤5中得到的训练好的墓葬壁画破损区修复网络，得到最终的修复好的墓葬壁画图像。
[0018]进一步的，所述步骤4中，所述多重注意力模块用于实现如下流程：
[0019]步骤411，将输入特征分成G个基数组，以控制输入和输出之间的连接，每一个基数组被进一步分成R个子组，则总的子组数为GR；对每个子组单独应用一系列变换则每一个子组的变化过程表示为其中X表示输入特征信息，i∈{1,2,
…
,GR}；
[0020]步骤412，在每个基数组的Split Attention模块中，输入特征G个基数组的组合可以通过跨多个子组的逐元素求和来获得，g∈{1,2,
…
,G}，则第g个基数组表示为：
[0021][0022]其中，R表示一个基数组内的子组数即，H,W和C
′
表示子组块输出特征图的大小；
[0023]然后使用跨通道空间维度的全局平均池计算每个子组块特征图的平均值：...

【技术保护点】

【技术特征摘要】
1.一种基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，具体包括以下步骤：步骤1：采集多幅墓葬壁画的图像，获得墓葬壁画的数据集，将该数据集分为有实际破损的墓葬壁画和无实际破损的墓葬壁画两部分；步骤2：将有实际破损的墓葬壁画图像分为训练集、测试集、验证集，并将训练集和测试集的墓葬壁画破损区使用标注工具标注出来，用于后续的检测模型训练；步骤3：将无实际破损的墓葬壁画图像作为修复模型的训练集，并对这些图像进行处理，用于后续的修复模型训练；步骤4：将步骤2得到的训练集和测试集以及相应标注好的图像破损区位置数据送入改进后的基于多重注意力机制的破损区检测网络中进行训练；所述改进后的基于多重注意力机制的破损区检测网络包括多重注意力模块和四叉树结构变换器模块；步骤5：将步骤3中所述的修复模型的训练集和随机生成的二值掩码图像送入改进后的调制对抗生成网络中进行训练；步骤6：对步骤2中的验证集进行处理，获得大小为512*512的有破损区域的墓葬壁画图像，并将该图片送入步骤4得到的训练好的墓葬壁画破损区检测模型中，该检测模型将检测到的破损区位置信息进行暂存，再直接转换为mask二值图；步骤7：将步骤6中经过处理得到的墓葬壁画图像与该图像经过检测后得到的mask二值图一起送入步骤5中得到的训练好的墓葬壁画破损区修复网络，得到最终的修复好的墓葬壁画图像。2.如权利要求1所述的基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，所述步骤4中，所述多重注意力模块用于实现如下流程：步骤411，将输入特征分成G个基数组，以控制输入和输出之间的连接，每一个基数组被进一步分成R个子组，则总的子组数为GR；对每个子组单独应用一系列变换则每一个子组的变化过程表示为其中X表示输入特征信息，i∈{1,2,
…
,GR}；步骤412，在每个基数组的Split Attention模块中，输入特征G个基数组的组合可以通过跨多个子组的逐元素求和来获得，g∈{1,2,
…
,G}，则第g个基数组表示为：其中，R表示一个基数组内的子组数即，H,W和C
′
表示子组块输出特征图的大小；然后使用跨通道空间维度的全局平均池计算每个子组块特征图的平均值：其中表示c∈{1,2,
…
,C
′
/G}中第g个基数组的第c个分量；步骤413，对步骤412中的每个基数组分量进行加权融合，通过Concat函数将所有基数组沿着信道维度级联；步骤414，将级联后的数据通过1x1卷积层压缩到特征图N＝[N1,N2,
…
,N
G
]，其具有与输入特征图相同的大小；再通过残差学习中的快捷连接生成多重注意力模块的输出，该快捷
连接被称为输入的受损图像的粗掩模。3.如权利要求1所述的基于注意力调制对抗网络的图像修复模型构建方法，其特征在于，所述步骤4中，所述四叉树结构变换器模块用于实现如下流程：步骤421，特征金字塔将输入的受损图像及其估计的粗掩模作为输入，并通过常规卷积网络层输出三个尺度的特征图；步骤422，对于级联方式的金字塔特征图的每个尺度，通过使用粗掩模和感兴趣区域特征，非相干检测器识别并细化非相干区域，输出为节点序列；根据检测到的非相干区域，以三级特征图的形式构建四叉树金字塔；如果较高级别特征图中的像素被预测为非连续节点，则该节点通过上采样被分解为相邻较低级别特征图的四个象限像素...

【专利技术属性】
技术研发人员：李若彤，章勇勤，范建平，彭先霖，杜林格，马晓龙，蓝善祯，钟涵文，
申请(专利权)人：西北大学，
类型：发明
国别省市：