图像修复方法、图像修复装置、电子设备、介质制造方法及图纸

本公开提供一种图像修复方法，包括：将第一待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像，其中，所述第一待处理数据包括待修复图像；将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像，其中，所述第二待处理数据包括所述待修复图像和所述完整边缘图像；其中，所述边缘修复网络和所述纹理修复网络中的至少一者中包括上下文归一化模块，所述上下文归一化模块用于对所述待修复图像的特征图进行上下文归一化处理。本公开还提供一种图像修复装置、一种电子设备、一种计算机可读介质。算机可读介质。算机可读介质。

【技术实现步骤摘要】
图像修复方法、图像修复装置、电子设备、介质


[0001]本公开涉及计算机视觉
，特别涉及一种图像修复方法、一种图像修复装置、一种电子设备、一种计算机可读介质。

技术介绍

[0002]图像修复是计算机视觉领域的一项重要研究内容，旨在预测并填充图像中的缺损区域。随着人工智能技术的兴起，基于深度学习的图像修复技术凭借其优异的性能逐渐成为实现图像修复的主流技术方案。
[0003]但是，图像修复的性能还有待进一步提升。

技术实现思路

[0004]本公开实施例提供一种图像修复方法、一种图像修复装置、一种电子设备、一种计算机可读介质。
[0005]第一方面，本公开实施例提供一种图像修复方法，包括：
[0006]将第一待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像，其中，所述第一待处理数据包括待修复图像；
[0007]将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像，其中，所述第二待处理数据包括所述待修复图像和所述完整边缘图像；
[0008]其中，所述边缘修复网络和所述纹理修复网络中的至少一者中包括上下文归一化模块，所述上下文归一化模块用于对所述待修复图像的特征图进行上下文归一化处理。
[0009]在一些实施例中，所述第一待处理数据还包括待修复边缘图像和掩码，所述掩码用于指示所述待修复图像中的缺损区域；将待修复图像输入边缘修复网络进行边缘修复，获得完整边缘图像的步骤包括：
[0010]通过所述边缘修复网络的第一下采样模块和第一残差块对所述第一待处理数据进行处理，得到所述待修复图像的第一特征图和所述掩码对应的填充指示符，其中，所述填充指示符用于指示所述第一特征图中的第一已知区域和第一未知区域，所述第一未知区域对应所述待修复图像中的缺损区域；
[0011]通过所述边缘修复网络的上下文归一化模块，根据所述填充指示符对所述第一特征图进行上下文归一化处理，得到第一预测图像；
[0012]对所述第一预测图像进行上采样，得到所述完整边缘图像。
[0013]在一些实施例中，通过所述边缘修复网络的上下文归一化模块，根据所述填充指示符对所述第一特征图进行上下文归一化处理，得到预测图像的步骤包括：
[0014]根据所述第一特征图和所述填充指示符，确定所述第一未知区域的特征均值和特征方差；
[0015]根据所述第一特征图和所述填充指示符，确定所述第一已知区域的特征均值和特征方差；
[0016]根据所述第一未知区域的特征均值和特征方差、所述第一已知区域的特征均值和特征方差进行上下文归一化处理，得到所述第一预测图像。
[0017]在一些实施例中，在根据所述第一未知区域的特征均值和特征方差、所述第一已知区域的特征均值和特征方差进行上下文归一化处理，得到所述第一预测图像的步骤中，通过以下公式进行上下文归一化处理：
[0018][0019][0020]其中，t(
·
)表示归一化函数，X表示所述待修复图像，表示所述待修复图像中的已知区域，X
Ω
表示所述待修复图像中的未知区域，f(
·
)表示对输入图像进行特征提取的特征图，
↓
表示最邻近下采样的运算符，M表示填充指示符，μ(.)表示计算特征均值，σ2(
·
)表示计算特征方差，x1、x2表示特征图，
⊙
表示哈达玛运算，ρ∈[0,1]。
[0021]在一些实施例中，在将待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像的步骤之前，所述图像修复方法还包括：
[0022]对所述待修复图像进行边缘检测，得到所述待修复边缘图像；
[0023]根据所述待修复图像中的缺损区域生成所述掩码；
[0024]将所述待修复图像、所述待修复边缘图像和所述掩码进行融合，得到所述第一待处理数据。
[0025]在一些实施例中，将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像的步骤包括：
[0026]通过所述纹理修复网络的第二下采样模块和第二残差块对所述第二待处理数据进行处理，得到所述待修复图像的第二特征图；
[0027]通过所述纹理修复网络的上下文归一化模块对所述第二特征图进行上下文归一化处理，得到第二预测图像；
[0028]对所述第二预测图像进行上采样，得到所述完整图像。
[0029]在一些实施例中，通过所述纹理修复网络的上下文归一化模块对所述第二特征图进行上下文归一化处理，得到第二预测图像的步骤包括：
[0030]根据所述待修复图像和所述完整边缘图像确定所述第二特征图中的第二未知区域和第二已知区域，其中，所述第二未知区域对应所述待修复图像中的缺损区域；
[0031]对所述第二未知区域和所述第二已知区域进行上下文归一化处理；
[0032]对上下文归一化处理后的所述第二特征图进行全局仿射变换，得到所述第二预测图像。
[0033]在一些实施例中，所述图像修复方法还包括：
[0034]对初始边缘修复网络和初始纹理修复网络进行对抗训练，得到所述边缘修复网络和所述纹理修复网络。
[0035]在一些实施例中，在对初始边缘修复网络和初始纹理修复网络进行对抗训练，得到所述边缘修复网络和所述纹理修复网络的步骤中，对所述初始边缘修复网络进行对抗训练包括：
[0036]将样本图像输入所述初始边缘修复网络的生成器进行边缘修复，得到样本边缘图
像；
[0037]通过所述初始边缘修复网络的判别器对所述样本边缘图像进行判别，当判别结果为真时输出所述样本边缘图像；
[0038]通过损失函数更新所述生成器和所述判别器的参数；
[0039]其中，所述判别器包括并联的上下文判别器和谱归一化马尔科夫判别器，当所述上下文判别器和所述谱归一化马尔科夫判别器对所述样本边缘图像进行判别的判别结果均为真时，所述判别器的判别结果为真。
[0040]在一些实施例中，所述损失函数用以下公式表示：
[0041][0042]其中，为上下文对抗损失，用以下公式表示：
[0043][0044]其中，表示对输入的预测，用以下公式表示：
[0045][0046]其中，为重建损失，用以下公式表示：
[0047][0048]其中，X表示待修复图像，M表示掩码，Y表示与待修复图像对应的参考图像，θ表示生成器G(
·
)的学习参数，
⊙
表示哈达玛运算；
[0049]其中，表示谱归一化马尔科夫判别器损失，用以下公式表示：
[0050][0051]第二方面，本公开实施例提供一种图像修复装置，包括：
[0052]边缘修复模块，用于将第一待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像，其中，所述第一待处理数据包括待修复图像；
[0053]纹理修复模块，用于将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，包括：将第一待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像，其中，所述第一待处理数据包括待修复图像；将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像，其中，所述第二待处理数据包括所述待修复图像和所述完整边缘图像；其中，所述边缘修复网络和所述纹理修复网络中的至少一者中包括上下文归一化模块，所述上下文归一化模块用于对所述待修复图像的特征图进行上下文归一化处理。2.根据权利要求1所述的图像修复方法，其中，所述第一待处理数据还包括待修复边缘图像和掩码，所述掩码用于指示所述待修复图像中的缺损区域；将待修复图像输入边缘修复网络进行边缘修复，获得完整边缘图像的步骤包括：通过所述边缘修复网络的第一下采样模块和第一残差块对所述第一待处理数据进行处理，得到所述待修复图像的第一特征图和所述掩码对应的填充指示符，其中，所述填充指示符用于指示所述第一特征图中的第一已知区域和第一未知区域，所述第一未知区域对应所述待修复图像中的缺损区域；通过所述边缘修复网络的上下文归一化模块，根据所述填充指示符对所述第一特征图进行上下文归一化处理，得到第一预测图像；对所述第一预测图像进行上采样，得到所述完整边缘图像。3.根据权利要求2所述的图像修复方法，其中，通过所述边缘修复网络的上下文归一化模块，根据所述填充指示符对所述第一特征图进行上下文归一化处理，得到预测图像的步骤包括：根据所述第一特征图和所述填充指示符，确定所述第一未知区域的特征均值和特征方差；根据所述第一特征图和所述填充指示符，确定所述第一已知区域的特征均值和特征方差；根据所述第一未知区域的特征均值和特征方差、所述第一已知区域的特征均值和特征方差进行上下文归一化处理，得到所述第一预测图像。4.根据权利要求3所述的图像修复方法，其中，在根据所述第一未知区域的特征均值和特征方差、所述第一已知区域的特征均值和特征方差进行上下文归一化处理，得到所述第一预测图像的步骤中，通过以下公式进行上下文归一化处理：一预测图像的步骤中，通过以下公式进行上下文归一化处理：其中，t(
·
)表示归一化函数，X表示所述待修复图像，表示所述待修复图像中的已知区域，X
Ω
表示所述待修复图像中的未知区域，f(
·
)表示对输入图像进行特征提取的特征图，
↓
表示最邻近下采样的运算符，M表示填充指示符，μ(.)表示计算特征均值，σ2(
·
)表示计算特征方差，x1、x2表示特征图，
⊙
表示哈达玛运算，ρ∈[0,1]。5.根据权利要求2至4中任意一项所述的图像修复方法，其中，在将待处理数据输入边缘修复网络进行边缘修复，获得完整边缘图像的步骤之前，所述图像修复方法还包括：对所述待修复图像进行边缘检测，得到所述待修复边缘图像；
根据所述待修复图像中的缺损区域生成所述掩码；将所述待修复图像、所述待修复边缘图像和所述掩码进行融合，得到所述第一待处理数据。6.根据权利要求1至4中任意一项所述的图像修复方法，其中，将第二待处理数据输入纹理修复网络进行纹理修复，得到完整图像的步骤包括：通过所述纹理修复网...

【专利技术属性】
技术研发人员：尹芹，方晖，王金东，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：