【技术实现步骤摘要】
本专利技术涉及图像处理、计算机视觉领域，特别是涉及一种小样本条件下基于扩散模型的壁画图像修复方法。
技术介绍
1、壁画是历史和文化的活化石，记录了特定时代的生活、宗教信仰、艺术风格和技术发展，具有极高的艺术价值和社会意义。但很多壁画由于自然侵蚀以及人为破坏等原因，导致壁画本身出现粉化、脱落、褪色、变色的情况，其中部分已经濒临消失。目前，壁画的保护工作主要依赖于传统的壁画保护方式，由专业文物保护人员凭借工作经验，借助测量分析仪器，对其手工修复。这不仅耗费人力而且周期较长，对待处理区域的选定也缺乏准确性，难以做到精细的修复，最重要的是修复过程不可逆。
2、图像智能化、数字化技术的兴起，使得壁画数字化保护技术成为未来的发展趋势。通过数字化的虚拟修复将壁画原本损毁或缺失的部分进行虚拟化复原，使复原后的壁画接近于原本的样貌，恢复其完整性。虚拟修复不需要直接干预或接触原始壁画，不用担心对壁画本体造成二次破坏，相比传统的物理修复方法，它是一种非侵入性的修复手段，同时为实际壁画的人工修复工作提供了参考。
3、壁画的虚拟修复是一个复杂而精细的过程，需要专业的技术和系统的方法。壁画破损区域的预测和破损区域的重建是其中的两个核心步骤。准确定位到破损区域的位置大小和提取到关键的上下文结构信息是后续修复的前提条件。通过预测破损区域得到的高质量掩膜，再结合模型在训练期间所学习到的语义特征，对破损区域进行针对性的修复，得到最终的修复结果。
4、首先对于壁画破损区域的预测，对于特征复杂、纹理结构强的壁画，以往的深度学习方法所
5、其次对于破损区域的重建，由于壁画受损原因十分多样造就破损区域类型繁多，过去的深度学习方法仅在矩形的破损区域表现较好，并且简单叠加卷积层的数量，忽略了对长距离依赖关系的关注和捕捉，不能有效地获取图像的全局特征，导致修复结果在边缘颜色上过度不自然，无法较好地修复细节纹理，出现颜色失真、修复不全、视觉伪影等问题。
6、最后，在深度学习领域，通常需要大规模的真实数据集来获得更好的模型性能和泛化能力。过去基于自然图像的卷积神经网络(cnn)或transformer模型，在小样本数据集上训练时，出现过拟合和模型崩溃的风险很高，实际修复效果不尽人意。壁画样本在色彩，纹理以及空间结构信息都与自然图像有很大区别。但目前，并没有一个有关壁画的大型公开数据集。如何在小样本条件下进行壁画图像修复，是目前亟需解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种小样本条件下基于扩散模型的壁画图像修复方法，能够提高壁画图像的修复质量。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种小样本条件下基于扩散模型的壁画图像修复方法，所述方法包括：
4、构建壁画图像修复模型；所述壁画图像修复模型是应用训练集对生成对抗网络进行训练得到的；所述生成对抗网络包括生成器和鉴别器；所述训练集包括未破损壁画和所述未破损壁画的掩膜图像；
5、获取待修复壁画；
6、将所述待修复壁画输入至所述壁画图像修复模型，得到修复后的壁画。
7、可选地，所述未破损壁画包括原始壁画图像和生成壁画图像；所述生成壁画图像是利用扩散模型生成的。
8、可选地，所述生成器包括依次连接的编码器、瓶颈层、第一标准卷积层和解码器；
9、所述编码器包括依次连接的第一门控卷积层、第二门控卷积层、第三门控卷积层、第一transformer模块、下采样模块、第二transformer模块和第三transformer模块；
10、所述瓶颈层包括依次连接的第四门控卷积层、第五门控卷积层、第六门控卷积层和第七门控卷积层；
11、所述解码器包括依次连接的第一上采样模块、第四transformer模块、第二标准卷积层、第二上采样模块、第五transformer模块、第三上采样模块和第六transformer模块。
12、可选地，所述第一transformer模块的输出、所述第二transformer模块的输出、所述第三transformer模块的输出和所述第七门控卷积层的输出进行拼接操作后作为所述第一标准卷积层的输入；
13、所述第一transformer模块的输出、所述第二transformer模块的输出、所述第三transformer模块的输出和所述第四transformer模块的输出进行拼接操作后作为所述第二标准卷积层的输入；
14、所述第一transformer模块的输出、所述第二transformer模块的输出、所述第三transformer模块的输出和所述第五transformer模块的输出进行拼接操作后作为所述第三上采样模块的输入。
15、可选地，所述鉴别器包括依次连接的第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层和第七标准卷积层。
16、可选地，应用训练集对生成对抗网络进行训练的过程包括：
17、将所述未破损壁画的掩膜图像和所述未破损壁画进行融合，得到融合图像；
18、将所述融合图像输入至生成对抗网络，生成修复壁画图像；
19、根据所述修复壁画图像和所述未破损壁画，计算损失函数；
20、根据所述损失函数，确定所述壁画图像修复模型。
21、可选地，所述损失函数包括生成器损失和鉴别器损失；
22、所述生成器损失包括平均绝对误差、感知损失和直方图损失。
23、根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
24、本专利技术首先通过一个充分利用不同尺度特征，同时提取破损区域的局部和全局信息并将其融合的层次化编码器-解码器，得到准确预测破损区域的掩膜。其次，本专利技术利用完好的少部分壁画图片训练高度灵活且易于计算的扩散模型，学习到壁画特征，再根据壁画修复所需，选取壁画风格、提供更多的关键词描述，让扩散模型批量生成符合要求的壁画图像，由此缓解壁画样本稀少的问题。扩散模型可以从少量的数据中学习并进行预测，同时通过调整模型参数来控制模型的灵敏度和鲁棒性，以适应不同的数据分布和噪声情况，最终生成优异的结果。最后，本专利技术提出了一种结合门控卷积和改进transformer模块的图像修复模型。门控卷积使用标准卷积层和sigmoid()函数来更新掩码，而不是使用基于规则的掩码更新，在经过sigmoid()函数后，所有值都将落入[0，1]，这可以指示每个局部区域的重要性和有效性。具体来说，门控卷积是在标准卷积层后接一个sigmoid函数作为软门控，在输入到下一个卷积层之前对当前卷积层的输出进行加权。以往修复过程中使用部分卷积中的硬门控，只能用0或1来加权，但是门控卷积采用的软门控可以更加灵活地采用0到1进行加权，并且该操作是可学习的，所以可以更好地针对有效像素进行特征学习，帮助后续的图像重建。...
【技术保护点】
1.一种小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述方法包括：
2.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述未破损壁画包括原始壁画图像和生成壁画图像；所述生成壁画图像是利用扩散模型生成的。
3.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述生成器包括依次连接的编码器、瓶颈层、第一标准卷积层和解码器；
4.根据权利要求3所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述第一transformer模块的输出、所述第二transformer模块的输出、所述第三transformer模块的输出和所述第七门控卷积层的输出进行拼接操作后作为所述第一标准卷积层的输入；
5.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述鉴别器包括依次连接的第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层和第七标准卷积层。
6.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，
7.根据权利要求6所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述损失函数包括生成器损失和鉴别器损失；
...【技术特征摘要】
1.一种小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述方法包括：
2.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述未破损壁画包括原始壁画图像和生成壁画图像；所述生成壁画图像是利用扩散模型生成的。
3.根据权利要求1所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述生成器包括依次连接的编码器、瓶颈层、第一标准卷积层和解码器；
4.根据权利要求3所述的小样本条件下基于扩散模型的壁画图像修复方法，其特征在于，所述第一transformer模块的输出、所述第二transformer模块的...
【专利技术属性】
技术研发人员：吴昊，胡楠玉，吴静，谢瑞麟，晏乙涵，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。