图像填充方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像填充方法、装置、设备及存储介质，涉及人工智能、深度学习、计算机视觉、图像填充技术领域，图像填充方法包括：对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少一个缺失区域；对所述实例分割图进行补全处理，得到补全后的实例分割图；基于所述补全后的实例分割图，对所述待填充图像进行填充处理，得到填充后的图像。利用本申请能够实现高质量的图像填充。

【技术实现步骤摘要】
图像填充方法、装置、设备及存储介质
本申请涉及人工智能、深度学习、计算机视觉、图像填充
，具体地，涉及一种图像填充方法、装置、设备以及存储介质。
技术介绍
图像填充技术有广泛的应用场景，例如图像编辑、图像修复、移除图像中的特定物体，等等。现有图像填充技术大多基于块匹配或纹理匹配的方法，使用普通的卷积神经网络处理，存在填充效果不够真实，纹理不自然，人工瑕疵明显，效率低下等问题。
技术实现思路
本申请提供了一种图像填充方法、装置、设备以及存储介质。根据本申请的第一方面，提供了一种图像填充方法，包括：对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少一个缺失区域；对所述实例分割图进行补全处理，得到补全后的实例分割图；基于所述补全后的实例分割图，对所述待填充图像进行填充处理，输出填充后的图像。根据本申请的第二方面，提供了一种图像填充方法装置，包括：实例分割模块，用于对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少一个缺失区域；实例补全模块，对所述实例分割图进行补全处理，得到补全后的实例分割图；图像填充模块，用于基于所述补全后的实例分割图，对所述待填充图像进行填充处理，输出填充后的图像。根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。本申请实施例利用补全后的实例分割图作为辅助信息，携带图像中缺失部分的实例分割信息，这部分实例分割信息能够帮助强化填充处理的效果，使填充后的图像更加逼真。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是一个示意性地原始图像。图2是对图1中图像进行语义分割后的图像。图3是对图1中图像进行实例分割后的图像。图4是本申请一个实施例的图像填充方法的流程框图；图5是本申请一个实施例的图像填充装置的结构框图；图6是本申请一个实施例的示意性的待填充图像；图7是本申请另一实施例的图像填充方法的逻辑过程图；图8是对图6实施例进行图像填充处理后得到的示意性的图像；图9是实现本申请实施例的弹性分布式训练方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。为了更清楚地描述本申请的实施例，首先对深度学习领域中图像的语义分割和实例分割的相关内容进行简要描述。关于语义分割(SemanticSegmentation)：可将图像中的像素标注为对应的物体类别，同一类别物体的不同实例不进行单独分割。关于实例分割(Instancesegmentation)：基于物体检测(ObjectDetect)的边框，对于图像中属于同一类别的多个物体，实例分割可对多个物体中的各个个体进行区别标注；相对于语义分割，实例分割的标注精度较高，语义分割可精确到同一类物体的整体外边框，实例分割可精确到各个物体本身的边缘和轮廓。参考图1-3，其中图1是原始图像，图2是语义分割后的图像，图3是实例分割后的图像，可以看到，图1原始图像中部区域有一个桌子和多个椅子，图2的语义分割图像中桌子被标注为浅色，多个椅子(属于同一类别)全部被标注为深色，同一类别物体不加区分；与图2的语义分割不同，图3的实例分割图像中，各个椅子分别被标注为不同的颜色，并且能够对椅子不同部分的边缘和轮廓进行标注区分。本申请的实施例基于图像的实例分割信息，图4示出了本申请实施例的图像填充方法的流程框图，包括如下步骤：S101，对待填充图像I_i进行实例分割，得到多个实例分割图，多个实例分割图中包括至少一个有缺失的实例分割图instance_i；S102，对至少一个有缺失的实例分割图instance_i进行补全处理，得到补全后的实例分割图instance_o；S103，基于补全后的实例分割图instance_o，对待填充图像I_i进行填充处理，输出填充后的图像I_o。在本申请的实施例中，待填充的图像I_i是有缺失的图像，例如已将图像中希望删除的目标物去除，因此本申请实施例的待填充图像I_i不是完整的图像，图像中缺失的部分区域即是待填充的区域。根据本申请的实施例，对于待填充图像I_i并不是使用神经网络模型直接进行填充处理，而是首先对有缺失的待填充图像做实例分割，可得到多个实例分割图，各个实例分割图对应图像中的一个物体或一片区域等，其中，由于待填充图像中有缺失，因此对该缺失的部分也会生成对应的实例分割图instance_i，其中对应位置处是缺失的，其余区域为携带有实例分割信息的图像。这里，待填充图像I_i中的缺失区域可以是一个，也可以是多个，因此实例分割处理后，带有缺失的实例分割图instance_i的数目可能是一个，也可能是多个。以下以有缺失的实例分割图instance_i的数目为一个进行描述，多个的情况可做相同处理。根据本申请的实施例，接着对有缺失的实例分割图instance_i进行补全处理，由于补全处理的基础是经过实例分割而生成的有缺失的实例分割图instance_i，而非普通的有缺失图像，也就是说，本申请实施例步骤S102中的补全处理是基于实例分割图instance_i中的实例分割信息进行的补全，使得补全后的实例分割图instance_o中携带了缺失部分的实例分割信息，有利于强化后续步骤S103的填充效果。具体地，步骤S103基于补全后的实例分割图instance_o对待填充图像I_i进行填充，这里，补全后的实例分割图instance_o作为辅助信息，包含了缺失部分的实例分割信息，因此相当于在对待填充图像I_i做填充时系统已获得了缺失部分的实例分割信息，这部分实例分割信息能够强化填充处理的效果，使填充效果更加符合视觉语义，填充后的图像更加逼真。与上述方法实施例相对应地，本申请实施例还提供一种图像填充装置100，参考图5，包括：实例分割模块101，用于对待填充图像I_i进行实例分割，得到所述待填充图像I_i对应的实例分割图，所述实例分割图包括至少一个缺失区域；实例补全模块1本文档来自技高网...

【技术保护点】
1.一种图像填充方法，包括：/n对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少一个缺失区域；/n对所述实例分割图进行补全处理，得到补全后的实例分割图；/n基于所述补全后的实例分割图，对所述待填充图像进行填充处理，得到填充后的图像。/n

【技术特征摘要】
1.一种图像填充方法，包括：
对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少一个缺失区域；
对所述实例分割图进行补全处理，得到补全后的实例分割图；
基于所述补全后的实例分割图，对所述待填充图像进行填充处理，得到填充后的图像。


2.根据权利要求1所述的方法，其中，
所述补全后的实例分割图与所述待填充图像各自对应矩阵的长宽维度相同，且图像通道数不同；
在所述基于所述补全后的实例分割图，对所述待填充图像进行填充处理之前，所述方法还包括：
对所述补全后的实例分割图的矩阵与所述待填充图像的矩阵在通道维度上进行拼接，以拼接后的矩阵作为所述填充处理的对象。


3.根据权利要求1所述的方法，在所述对待填充图像进行实例分割之前，所述方法还包括：
将目标图像中的目标区域去除，得到待填充图像，所述待填充图像中缺失的区域为待填充区域。


4.根据权利要求1所述的方法，其中，
所述补全后的实例分割图中包括所述待填充图像中缺失部分的实例信息；
所述基于所述补全后的实例分割图，对所述待填充图像进行填充处理，包括：
基于所述补全后的实例分割图中的所述缺失部分的实例信息，对所述待填充图像进行填充处理。


5.根据权利要求1-4中任一项所述的方法，其中，
所述实例分割、所述补全处理以及所述填充处理分别由实例分割模块、实例补全模块以及图像填充模块执行，其中，
所述实例分割模块是利用第一类训练数据对神经网络进行训练而生成的，所述第一类训练数据包括：待填充图像和对应的实例分割图，其中所述实例分割图中包括至少一个缺失区域；
所述实例补全模块是利用第二类训练数据对神经网络进行训练而生成的，所述第二类训练数据包括：有缺失的实例分割图和对应的补全后的实例分割图；
所述图像填充模块是利用第三类训练数据对神经网络进行训练而生成的，所述第三类训练数据包括：待填充图像与补全后的实例分割图的拼接矩阵和对应的填充后的图像。


6.一种图像填充装置，包括：
实例分割模块，用于对待填充图像进行实例分割，得到所述待填充图像对应的实例分割图，所述实例分割图包括至少...

【专利技术属性】
技术研发人员：李超，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11