本发明专利技术公开了一种图像修复模型训练方法、图像修复方法、装置及电子设备，涉及图像处理技术领域，以解决相关图像修复方案的图像修复效果较差的问题。该方法包括：获取无损失图像样本集；基于无损失图像样本集中的无损失样本图像和第一掩膜，确定与无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将第一灰度图、第一轮廓图、第一掩膜和损失样本图像，输入图像修复网络，获取图像修复网络输出的对损失样本图像的修复图像；基于修复图像与无损失样本图像，确定损失函数值；基于损失函数值，对图像修复网络的参数进行训练。本发明专利技术可保证训练得到的图像修复网络能够准确定位图像中的损失区域，获得较好的图像修复效果。获得较好的图像修复效果。获得较好的图像修复效果。
【技术实现步骤摘要】
图像修复模型训练方法、图像修复方法、装置及电子设备
[0001]本专利技术涉及图像处理
，尤其涉及一种图像修复模型训练方法、图像修复方法、装置及电子设备。
技术介绍
[0002]随着计算机技术的进步和机器学习技术的发展，现已存在各式各样的针对图像缺损的修复方式。目前，基于深度学习的图像修复技术成为主流趋势，然而，相关技术中的图像修复方案由于对图片损失区域的定位不够准确，导致图像修复效果较差。
技术实现思路
[0003]本专利技术实施例提供一种图像修复模型训练方法、图像修复方法、装置及电子设备，以解决相关技术中的图像修复方案的图像修复效果较差的问题。
[0004]第一方面，本专利技术实施例提供了一种图像修复模型训练方法，包括：
[0005]获取无损失图像样本集；
[0006]基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
[0007]将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
[0008]基于所述修复图像与所述无损失样本图像，确定损失函数值；
[0009]基于所述损失函数值，对所述图像修复网络的参数进行训练。
[0010]可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
[0011]可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
[0012]所述将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像，包括：
[0013]将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
[0014]将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
[0015]所述基于所述修复图像与所述无损失样本图像，确定损失函数值，包括：
[0016]基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
[0017]基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
[0018]所述基于所述损失函数值，对所述图像修复网络的参数进行训练，包括：
[0019]基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
[0020]基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
[0021]可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
[0022]基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定L1范数损失函数值。
[0023]可选的，所述L1范数损失函数值包括所述损失样本图像的损失区域的L1损失值和所述损失样本图像的非损失区域的L1损失值；
[0024]其中，所述非损失区域的L1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的L1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
[0025]所述损失区域的L1损失值等于第三矩阵与所述第二矩阵的哈达马积的L1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
[0026]可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
[0027]基于所述修复图像和所述无损失样本图像，分别计算所述L1范数损失函数值、感知损失函数值和风格损失函数值；
[0028]计算所述L1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
[0029]可选的，所述图像修复网络为基于部分卷积的U型网络。
[0030]可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于部分卷积的U型网络。
[0031]可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
[0032]第二方面，本专利技术实施例还提供一种图像修复方法，包括：
[0033]获取待修复的目标图像；
[0034]将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
[0035]其中，所述图像修复网络为经上述第一方面所述的图像修复模型训练方法训练得到的网络。
[0036]第三方面，本专利技术实施例还提供一种图像修复模型训练装置，包括：
[0037]第一获取模块，用于获取无损失图像样本集；
[0038]第一确定模块，用于基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
[0039]处理模块，用于将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
[0040]第二确定模块，用于基于所述修复图像与所述无损失样本图像，确定损失函数值；
[0041]训练模块，用于基于所述损失函数值，对所述图像修复网络的参数进行训练。
[0042]可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
[0043]可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
[0044]所述处理模块包括：
[0045]第一处理单元，用于将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
[0046]第二处理单元，用于将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
[0047]所述第二确定模块包括：
[0048]第一确定单元，用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像修复模型训练方法，其特征在于，包括：获取无损失图像样本集；基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；基于所述修复图像与所述无损失样本图像，确定损失函数值；基于所述损失函数值，对所述图像修复网络的参数进行训练。2.根据权利要求1所述的方法，其特征在于，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。3.根据权利要求1所述的方法，其特征在于，所述图像修复网络包括轮廓补全网络和色彩填充网络；所述将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像，包括：将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；所述基于所述修复图像与所述无损失样本图像，确定损失函数值，包括：基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；基于所述修复图像和所述无损失样本图像，确定图像损失函数值；所述基于所述损失函数值，对所述图像修复网络的参数进行训练，包括：基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。4.根据权利要求3所述的方法，其特征在于，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定L1范数损失函数值。5.根据权利要求4所述的方法，其特征在于，所述L1范数损失函数值包括所述损失样本图像的损失区域的L1损失值和所述损失样本图像的非损失区域的L1损失值；其中，所述非损失区域的L1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的L1范数除以所述像素数量，所述第二...
【专利技术属性】
技术研发人员：韩如琪，邓煜港，
申请(专利权)人：中移智行网络科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。