一种图像修复方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种图像修复方法、装置、设备及计算机可读存储介质；方法应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述方法包括：通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；其中，所述标记信息，用于指示所述待修复图像的待修复区域；通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。通过本申请，能够提高图像修复的效率。

【技术实现步骤摘要】
一种图像修复方法、装置、设备及计算机可读存储介质
本申请涉及人工智能的图像处理技术，尤其涉及一种图像修复方法、装置、设备及计算机可读存储介质。
技术介绍
人工智能(ArtificialIntelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。图像修复是人工智能领域的重要应用之一，图像修复是指对图像或视频中丢失或损坏的待修复区域进行修复重建的过程。目标大多主流的图像修复算法都是基于卷积神经网络对待修复区域进行修复，但在实际应用中，待修复区域可能比较大，为了达到较好地修复效果，相关技术通常采用多个相互独立的图像修复模型进行多阶段的图像修复，但这会消耗较长时间，图像修复效率低下。
技术实现思路
本申请实施例提供一种图像修复方法、装置、设备及计算机可读存储介质，能够提高图像修复的效率。本申请实施例的技术方案是这样实现的：本申请实施例提供一种图像修复方法，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，包括：通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；其中，所述标记信息，用于指示所述待修复图像的待修复区域；通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。本申请实施例提供一种图像修复装置，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述装置包括：特征编码模块，用于通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；其中，所述标记信息，用于指示所述待修复图像的待修复区域；特征修复模块，用于通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；特征解码模块，用于通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。上述方案中，所述特征修复模块包括位置变换单元，所述位置变换单元，用于按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征；将所述目标数量的子编码特征进行位置重排列，得到位置变换特征。上述方案中，所述位置变换单元，用于获取待修复图像的编码特征对应的特征图；按照预设大小的分割因子，对所述特征图进行分割，得到目标数量的子特征图，并将所述子特征图确定为所述子编码特征对应的特征图。上述方案中，所述特征修复模块还包括矩阵构建单元和特征更新单元，所述矩阵构建单元，用于基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵；所述特征更新单元，用于基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征。上述方案中，所述矩阵构建单元，还用于针对所述位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；以每个位置为节点、节点之间的连接关系为边，构建所述待修复图像对应的邻接矩阵；其中，所述邻接矩阵的矩阵元素为对应的相似度值。上述方案中，所述特征修复模块还包括位置逆变换单元，所述特征更新单元，还用于对所述邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；将所述归一化后的邻接矩阵与所述位置变换特征进行点乘求和，得到更新后的位置变换特征；所述位置逆变换单元，用于将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征。上述方案中，所述特征修复模块还包括特征映射单元，所述特征映射单元，用于所述得到更新后的位置变换特征之后，对所述更新后的位置变换特征进行特征映射，得到映射特征；相应的，所述位置逆变换单元，还用于对所述映射特征进行位置逆变换，得到对应的修复特征。上述方案中，所述得到更新后的位置变换特征之后，所述特征映射单元，还用于对所述更新后的位置变换特征进行特征映射，得到第一映射特征；所述特征更新单元，还用于将所述第一映射特征与所述归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；所述特征映射单元，还用于对所述更新后的映射特征进行特征映射，得到第二映射特征；所述位置逆变换单元，还用于对所述第二映射特征进行位置逆变换，得到对应的修复特征。上述方案中，所述特征修复模块包括位置变换单元、特征采样单元、特征更新单元和位置逆变换单元，所述特征采样单元，用于对所述位置变换特征中，所述待修复区域之外的其他区域对应的位置变换特征进行采样，得到采样位置变换特征；所述特征更新单元，用于采用所述采样位置变换特征，对所述位置变换特征中待修复区域对应的位置变换特征进行更新；所述位置逆变换单元，用于对更新后的位置变换特征进行位置逆变换，得到对应的修复特征。上述方案中，所述特征编码网络由至少两个子编码网络级联构成，所述特征编码模块，用于通过所述至少两个子编码网络中的第一个子编码网络，对包含标记信息的待修复图像进行编码处理，得到相应的子编码特征；将所述子编码特征输入至后续级联的子编码网络，以通过后续级联的子编码网络，对所述子编码特征进行编码处理得到目标编码特征，并经最后一个子编码网络输出，作为所述待修复图像对应的编码特征。上述方案中，所述特征解码网络包含与所述子编码网络的数量相同的子解码网络，所述特征解码模块，用于通过所述至少两个子解码网络中的第一个子解码网络，对所述修复特征进行解码处理，得到相应的初始修复图像；将所述初始修复图像对应的修复特征输出至后续级联的子编码网络，以通过后续级联的子解码网络，对所述初始修复图像对应的修复特征进行解码处理得到目标修复图像，并经最后一个子解码网络输出，作为所述待修复图像对应的修复图像。上述方案中，所述装置还包括模型训练模块，所述模型训练模块，用于通过所述特征编码网络，对图像样本中包含标记信息的待修复图像进行特征提取，得到对应的编码特征；其中，所述图像样本包括原始图像及对应所述原始图像的待修复图像，所述标记信息用于指示所述待修复图像的待修复区域；通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像；获取所述修复图像与所述原始图像之间的差异，并基于获取的所述差异，更新所述图像修复模型的模型参数。本文档来自技高网...

【技术保护点】
1.一种图像修复方法，其特征在于，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述方法包括：/n通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；/n其中，所述标记信息，用于指示所述待修复图像的待修复区域；/n通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；/n通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。/n

【技术特征摘要】
1.一种图像修复方法，其特征在于，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述方法包括：
通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。


2.如权利要求1所述的方法，其特征在于，所述对所述编码特征进行位置变换，得到位置变换特征，包括：
按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征；
将所述目标数量的子编码特征进行位置重排列，得到位置变换特征。


3.如权利要求2所述的方法，其特征在于，所述按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征，包括：
获取待修复图像的编码特征对应的特征图；
按照预设大小的分割因子，对所述特征图进行分割，得到目标数量的子特征图，并将所述子特征图确定为所述子编码特征对应的特征图。


4.如权利要求1所述的方法，其特征在于，所述基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征，包括：
基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵；
基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征。


5.如权利要求4所述的方法，其特征在于，所述基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵，包括：
针对所述位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；
以每个位置为节点、节点之间的连接关系为边，构建所述待修复图像对应的邻接矩阵；
其中，所述邻接矩阵的矩阵元素为对应的相似度值。


6.如权利要求4所述的方法，其特征在于，所述基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征，包括：
对所述邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
将所述归一化后的邻接矩阵与所述位置变换特征进行点乘求和，得到更新后的位置变换特征；
将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征。


7.如权利要求6所述的方法，其特征在于，所述得到更新后的位置变换特征之后，所述方法还包括：
对所述更新后的位置变换特征进行特征映射，得到映射特征；
相应的，将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征，包括：
对所述映射特征进行位置逆变换，得到对应的修复特征。


8.如权利要求6所述的方法，其特征在于，所述得到更新后的位置变换特征之后，所述方法还包括：
对所述更新后的位置变换特征进行特征映射，得到第一映射特征；
将所述第一映射特征与所述归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；
对所述更新后的映射特征进行特征映射，得到第二映射特征；
相应的，将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征，包括：
对所述第二映射特征进行位置逆变换，得到对应的修复特征。

【专利技术属性】
技术研发人员：沈伟，康斌，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：北京;11