一种边缘先验融合多头注意力机制的图像修复方法技术

本发明专利技术涉及图像修复技术领域，公开了一种边缘先验融合多头注意力机制的图像修复方法，包括步骤S1：获取实验数据并对数据进行预处理，其中实验数据包括训练集以及测试集，对预处理后的图片提取出图像的边缘图；步骤S2：构建边缘先融合多注意力机制修复模型，包括边缘修复模型和图像修复模型，所述边缘修复模型以提取的边缘图、原始图像和掩码图像为输入，输出为修复的边缘图像，所述图像修复模型以修复的边缘图像同缺损图像为输入进行训练；本文通过融合多头注意力机制的方式，通过提取更加丰富的图像，像素长距离依赖以达到提升图像修复的效果。的效果。的效果。

【技术实现步骤摘要】
一种边缘先验融合多头注意力机制的图像修复方法


[0001]本专利技术涉及图像修复
，具体涉及一种边缘先验融合多头注意力机制的图像修复方法。

技术介绍

[0002]在信息社会中，图像是最重要的信息来源。如何获得更完整，更清晰的图像也已成为计算机视觉领域的热点，相关应用领域包括图像修复和超分辨率。图像修复是指从受损图像中图像信息的其余部分恢复完整图像的技术。对于人眼而言，这并不是一项艰巨的任务，但对于计算机视觉而言，这却是一个相当具有挑战性的任务。这项技术有许多实用方案，例如，图像恢复(用于去除照片划痕和文本遮挡)，照片编辑(去除不需要的目标)，图像编码和传输(图像传输期间的网络)需要使用由数据包丢失引起的图像块内容丢失)。因此，图像修复技术是近年来非常流行的研究领域。
[0003]目前，基于生成对抗网络对图像进行修复以成为主流，生成对抗网络的出使得可以通过网络模型生成出同训练数据相近的但本身并不存在的图像，以达到以假乱真的效果，近些年通过利用生成对抗网络的生成特点，通过对生成对抗网络的改进以达到图像修复的效果不断提出，而现有技术中卷积神经网络在学习特征时仅仅关注局部区域的像素值，而忽略了远距离区域像素的关联性对图像生成与修复的影响。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种边缘先验融合多头注意力机制的图像修复方法，本文通过融合多头注意力机制的方式，通过提取更加丰富的图像，像素长距离依赖以达到提升图像修复的效果。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种边缘先验融合多头注意力机制的图像修复方法，包括
[0007]步骤S1：获取实验数据并对数据进行预处理，其中实验数据包括训练集以及测试集，对预处理后的图片提取出图像的边缘图；
[0008]步骤S2：构建边缘先融合多注意力机制修复模型，包括边缘修复模型和图像修复模型，所述边缘修复模型以提取的边缘图、原始图像和掩码图像为输入，输出为修复的边缘图像，所述图像修复模型以修复的边缘图像同缺损图像为输入进行训练；
[0009]其中，所述图像修复模型包括图像修复器，图像修复器经过对修复的边缘图像多次采样，多次基于扩张卷积的残差卷积，一次的多头注意力网络以及两次的反卷积后生成修复图片；
[0010]步骤S3：通过测试集对边缘先融合多注意力机制修复模型的结果进行评估。
[0011]在本专利技术中，进一步的，所述边缘修复模型包括边缘修复器，所述边缘修复器对提取的边缘图、原始图像和掩码图像进行采样，经过多次基于扩张卷卷积残差以及两次反卷积后将特征图转换为单通道的边缘图。
[0012]在本专利技术中，进一步的，所述边缘修复模型的修复方法：
[0013]步骤S20：获取边缘修复器的预测边缘修复结果，依据预测边缘修复结果获取边缘修复模型的生成结果，该结果保留了已经区域的图像边缘，并在缺失的区域填入需要修复的边缘部分，如下：
[0014]C
p
＝G
e
(M，C，I
gray
)
[0015]C
+
＝C
·
(1
‑
M)+C
p
·
M
[0016]其中，C
p
表示预测的边缘修复图像，G
e
表示边缘修复器，M表示掩码图像，C代表待修复图像的边缘图，I
gray
代表待修复图像的灰度图，C
+
代表表边缘修复模型的生成的修复边缘图像。
[0017]在本专利技术中，进一步的，所述边缘修复模型的修复方法还包括
[0018]步骤S21:计算边缘修复器的损失函数，其中损失函数是生成边缘对抗损失与边缘特征损失的加权求和；
[0019]步骤S22：对边缘修复模型的生成结果进行优化，得到修复的边缘图像。
[0020]在本专利技术中，进一步的，所述图像修复模型的修复方法包括：
[0021]步骤S23：通过修复的边缘图像和破损图像拼接的张量作为输入，得到预测的修复图像，根据该预测的修复图像得到的修复图像：
[0022]I
p
＝G
i
(M，C+I
M
)
[0023]I
+
＝I
·
(1
‑
M)+I
p
·
M
[0024]其中，I
p
为预测的修复图像，I为真实图像，G
i
为图像修复器C
+
为修复边缘图像，I
M
；
[0025]步骤S24：计算图像修复损失函数，优化图像修复模型的修复结果，其中图像修复损失函数包含图像对抗损失、风格损失和感知损失，计算方法为：
[0026][0027]其中，λ3、λ4、λ5、λ6为自定义的超参，为图像修复模型生成的对抗损失，为风格损失，为感知损失。
[0028]在本专利技术中，进一步的，所述图像修复器经过对修复的边缘图像多次采样，多次基于扩张卷积的残差卷积，一次的多头注意力网络以及两次的反卷积后生成修复图片包括：步骤S2
‑
1：经过卷积层和残差网络的到的特征图经过不同的卷积变化得到多组的query、key、value特征图；
[0029]步骤S2
‑
2：获取重建的特征图；
[0030]步骤S2
‑
3：将重建的特征图按照通道维度进行拼接，获得多个注意力联合结果；
[0031]步骤S2
‑
4：在经过卷积网络变换将其变换为原始的输入特征的尺寸，将还原的重建特征图和原来的特征图进行相加作为最终输出的修复图片结果。
[0032]在本专利技术中，进一步的，所述步骤S2
‑
2中获取重建的特征图包括：
[0033]步骤S2
‑2‑
1：将key特征图进行转秩，将query特征图和转秩后的key特征图之间的分组进行点积运算，得到多组的相关性注意力矩阵；
[0034]步骤S2
‑2‑
2：对相关性注意力矩阵进行归一化；
[0035]步骤S2
‑2‑
3：归一化的每一组相关性的自注意力矩阵与该组的value特征图进行矩阵进行乘法运算，获得该组的重建的特征图。
[0036]所述步骤S2
‑
3将重建的特征图按照通道维度进行拼接，获得多个注意力联合结果包括：
[0037]步骤S2
‑3‑
1：获取第i个头的注意力结果：
[0038][0039]其中，用Qi、Ki、Vi表示第i个头的特征图查询键值矩阵；
[0040]步骤S2
‑3‑
2：将各个头的自注意力结果拼接，使用W矩阵对多个特征空间进行融合投影回原始矩阵大小，最终得到多个自注意力联合结果：...

【技术保护点】

【技术特征摘要】
1.一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，包括步骤S1：获取实验数据并对数据进行预处理，其中实验数据包括训练集以及测试集，对预处理后的图片提取出图像的边缘图；步骤S2：构建边缘先融合多注意力机制修复模型，包括边缘修复模型和图像修复模型，所述边缘修复模型以提取的边缘图、原始图像和掩码图像为输入，输出为修复的边缘图像，所述图像修复模型以修复的边缘图像同缺损图像为输入进行训练；其中，所述图像修复模型包括图像修复器，图像修复器经过对修复的边缘图像多次采样，多次基于扩张卷积的残差卷积，一次的多头注意力网络以及两次的反卷积后生成修复图片；步骤S3：通过测试集对边缘先融合多注意力机制修复模型的结果进行评估。2.根据权利要求1所述的一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，所述边缘修复模型包括边缘修复器，所述边缘修复器对提取的边缘图、原始图像和掩码图像进行采样，经过多次基于扩张卷卷积残差以及两次反卷积后将特征图转换为单通道的边缘图。3.根据权利要求2所述的一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，所述边缘修复模型的修复方法：步骤S20：获取边缘修复器的预测边缘修复结果，依据预测边缘修复结果获取边缘修复模型的生成结果，该结果保留了已经区域的图像边缘，并在缺失的区域填入需要修复的边缘部分，如下：C
p
＝G
e
(M,C,I
gray
)C
+
＝C
·
(1
‑
M)+C
p
·
M其中，C
p
表示预测的边缘修复图像，G
e
表示边缘修复器，M表示掩码图像，C代表待修复图像的边缘图，I
gray
代表待修复图像的灰度图，C
+
代表边缘修复模型的生成的修复边缘图像。4.根据权利要求3所述的一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，所述边缘修复模型的修复方法还包括步骤S21:计算边缘修复器的损失函数，其中损失函数是生成边缘对抗损失与边缘特征损失的加权求和；步骤S22：对边缘修复模型的生成结果进行优化，得到修复的边缘图像。5.根据权利要求1所述的一种边缘先验融合多头注意力机制的图像修复方法，其特征在于，所述图像修复模型的修复方法包括：步骤S23：通过修复的边缘图像和破损图像拼接的张量作为输入，得到预测的修复图像，根据该预测的修复图像得到的修复图像：I
p
＝G
i
(M,C
+
,I
M
)I
+
＝I
·
(1
‑
M)+I
p
·
M其中，I
p
为预测的修复图像，I为真实图像，G
i
为图像修复器，C
+
为修复边缘图；步骤S24：计算图像修复损失函数，优化图像修复模型的修复结...

【专利技术属性】
技术研发人员：张加万，赵晨曦，李会彬，
申请(专利权)人：天津大学，
类型：发明
国别省市：