一种抠图方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种抠图方法、装置、电子设备及存储介质。该方法包括：将待抠图图像以及与待抠图图像中的目标背景图像对应的先验背景图像，输入到预先训练完成的目标抠图模型，得到与待抠图图像中的目标前景图像对应的目标透明图；其中，目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的，第一训练样本包括第一样本图像、与第一样本图像中的样本背景图像对应的第一背景图像及与第一样本图像中的第一前景图像对应的第一透明图，第二训练样本包括第二样本图像、第二样本图像对应的第二背景图像及与第二样本图像中的第二前景图像对应的标注分割图。本公开实施例的技术方案，可以实现精细化抠图。可以实现精细化抠图。可以实现精细化抠图。

【技术实现步骤摘要】
一种抠图方法、装置、电子设备及存储介质


[0001]本公开实施例涉及图像处理领域，尤其涉及一种抠图方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，抠图技术也取得了越来越广泛的应用，如在制作影视剧以及后期处理宣传照等过程中经常应用到抠图技术。
[0003]但是，现有的抠图方案存在抠图精细度不高的问题。

技术实现思路

[0004]本公开实施例提供了一种抠图方法、装置、电子设备及存储介质，以实现精细化抠图的效果。
[0005]第一方面，本公开实施例提供了一种抠图方法，可以包括：
[0006]获取已训练完成的目标抠图模型、待抠图图像以及与待抠图图像中的目标背景图像对应的先验背景图像；
[0007]将待抠图图像和先验背景图像输入到目标抠图模型中，得到与待抠图图像中的目标前景图像对应的目标透明图；
[0008]其中，目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的，第一训练样本包括第一样本图像、与第一样本图像中的样本背景图像对应的第一背景图像及与第一样本图像中的第一前景图像对应的第一透明图，第二训练样本包括第二样本图像、与第二样本图像对应的第二背景图像以及与第二样本图像中的第二前景图像对应的标注分割图。
[0009]第二方面，本公开实施例还提供了一种抠图装置，可以包括：
[0010]图像获取模块，用于获取已训练完成的目标抠图模型、待抠图图像以及与待抠图图像中的目标背景图像对应的先验背景图像；
[0011]抠图模块，用于将待抠图图像和先验背景图像输入到目标抠图模型，得到与待抠图图像中的目标前景图像对应的目标透明图；
[0012]其中，目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的，第一训练样本包括第一样本图像、与第一样本图像中的样本背景图像对应的第一背景图像及与第一样本图像中的第一前景图像对应的第一透明图，第二训练样本包括第二样本图像、与第二样本图像对应的第二背景图像以及与第二样本图像中的第二前景图像对应的标注分割图。
[0013]第三方面，本公开实施例还提供了一种电子设备，可以包括：
[0014]一个或多个处理器；
[0015]存储器，用于存储一个或多个程序，
[0016]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开
是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0034]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0035]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0036]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0037]下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
[0038]实施例一
[0039]图1是本公开实施例一中提供的一种抠图方法的流程图。本实施例可适用于精细化抠图的情况，尤其适用于基于目标抠图模型实现精细化抠图的情况，该目标抠图模型是将前景分割训练和基于背景先验的前景抠图训练相结合训练得到的抠图模型。该方法可以由本公开实施例提供的抠图装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上。
[0040]参见图1，本公开实施例的方法具体包括如下步骤：
[0041]S110、获取已训练完成的目标抠图模型、待抠图图像以及与待抠图图像中的目标背景图像对应的先验背景图像，其中，目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的，第一训练样本包括第一样本图像、与第一样本图像中的样本背景图像对应的第一背景图像及与第一样本图像中的第一前景图像对应的第一透明图，第二训练样本包括第二样本图像、与第二样本图像对应的第二背景图像及与第二样本图像中的第二前景图像对应的标注分割图。
[0042]其中，第一样本图像可以认为是由样本背景图像和第一前景图像这两部分组成的样本图像，第一背景图像可以是与样本背景图像相对应的背景图像，如预先采集得到的与样本背景图像相同或相似的背影图像；第一透明图可以是与第一前景图像相对应(即用于从第一样本图像中提取出第一前景图像)的预先标注出的透明图，具体来说可以是尺寸与第一样本图像的尺寸相同并且像素值位于0～1之间的浮点型矩阵。示例性的，参见图2a，其从左到右依次展示出了第一样本图像、第一背景图像和第一透明图。将第一样本图像(其也可被称为第一样本原图)、第一背景图像以及第一透明图作为一组第一训练样本。
[0043]第二样本图像可以认为是由某某背景图像和第二前景图像这两部分组成的样本图像，第二背景图像可以是与第二样本图像对应的背景图像，如根据第二样本图像或某某背景图像中的各像素点的像素值生成的背景图像；标注分割图可以是与第二前景图像相对应(即用于从第二样本图像中分割出第二前景图像)的预先标注出的分割图，具体来说可以是尺寸与第二样本图像的尺寸相同并且像素值是0或是1的二值型矩阵。示例性的，参见图2b，其从左到右依次展示出了第二样本图像、第二背景图像和标注分割图。将第二样本图像、第二背景图像以及标注分割图作为一组第二训练样本。
[0044]在此基础上，可以基于多组第一训练样本以及多组第二训练样本训练得到目标抠
图模型，具体说是将基于多组第一训练样本进行的基于背景先验的前景抠图训练以及基于多组第二训练样本进行的前景分割训练相结合，通过二者的混合进行训练得到目标抠图模型。由于基于前者可以学习到抠图目标是什么，并且基于后者可以提升抠图精细度，二者相互配合，由此训练得到的目标抠图模型可以较好地保证抠图的准确度和精细度。
[0045]特别地，样本背景图像和第一背景图像是同一背景图像时，第一样本图像可以认为是第一前景图像和第一背景图像的合成图像，那么如果只是基于由此得到的第一训练样本进行模型训练，应用时容易出现合成图像和真实场景存在差异而导致抠图边缘不精细的问题。因此，本公开实施例将前景分割训练混合到基于背景先验的前景抠图训练中，由此有效解决了抠图边缘不精细的问题。
[0046]待抠图图像可以认为是由目标前景图像和目标背景图像这两部分组成的待进行前景抠图的图像，先验背景图像可以是与目标背景图像相对应的作为先验知识的背景图像，如预先采集得到的与目标背景图像相同或相似的背影图像。
[0047]S120、将待抠图图像以及先验背景图像输入到目标抠图模型中，得到与待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抠图方法，其特征在于，包括：获取已训练完成的目标抠图模型、待抠图图像以及与所述待抠图图像中的目标背景图像对应的先验背景图像；将所述待抠图图像和所述先验背景图像输入到所述目标抠图模型中，得到与所述待抠图图像中的目标前景图像对应的目标透明图；其中，所述目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的，所述第一训练样本包括第一样本图像、与所述第一样本图像中的样本背景图像对应的第一背景图像及与所述第一样本图像中的第一前景图像对应的第一透明图，所述第二训练样本包括第二样本图像、与所述第二样本图像对应的第二背景图像及与所述第二样本图像中的第二前景图像对应的标注分割图。2.根据权利要求1所述的方法，其特征在于，所述目标抠图模型通过如下步骤预先训练得到：获取待训练的原始抠图模型、所述第一训练样本和所述第二训练样本；基于多组所述第一训练样本和多组所述第二训练样本对所述原始抠图模型进行训练，得到所述目标抠图模型。3.根据权利要求2所述的方法，其特征在于，还包括：获取第三训练样本，其中，所述第三训练样本包括第三样本图像、与所述第三样本图像对应的第三背景图像以及与所述第三样本图像中的第三前景图像对应的第二透明图；所述基于多组所述第一训练样本和多组所述第二训练样本对所述原始抠图模型进行训练，包括：基于多组所述第一训练样本、多组所述第二训练样本、以及多组所述第三训练样本，对所述原始抠图模型进行训练。4.根据权利要求3所述的方法，其特征在于，所述第二前景图像中的前景目标和所述第三前景图像中的前景目标均对应于第一类型，并且多组所述第一训练样本中存在包括对应于所述第一类型的所述第一前景图像的所述第一训练样本以及包括对应于第二类型的所述第一前景图像的所述第一训练样本，所述第一类型和所述第二类型不同。5.根据权利要求2所述的方法，其特征在于，所述基于多组所述第一训练样本和多组所述第二训练样本对所述原始抠图模型进行训练，得到所述目标抠图模型，包括：获取抠图损失函数，并基于所述抠图损失函数和多组所述第一训练样本对所述原始抠图模型进行抠图训练；获取分割损失函数，并基于所述分割损失函数和多组所述第二训练样本对所述原始抠图模型进行分割训练；得到所述目标抠图模型。6.根据权利要求5所述的方法，其特征在于，所述基于所述抠图损失函数和多组所述第一训练样本对所述原始抠图模型进行抠图训练，包括：针对每组所述第一训练样本，将所述第一训练样本中的所述第一样本图像和所述第一背景图像输入到所述原始抠图模型中，得到预测透明图；根据所述预测透明图、所述第一训练样本中的所述第一透明图及所述抠图损失函数，调整所述原始抠图模型中的网络参数；
所述基于所述分割损失函数和多组所述第二训练样本对所述原始抠图模型进行分割训练，包括：针对每组所述第二训练样本，将所述第二训练样本中的所述第二样本图像和所述第二背景图像输入到所述原始抠图模型中，得到预测分割图；根据所述预测分割图、所述第二训练样本中的所述标注分割图及所述分割损失函数，调整所述网络参数；所述得到所述目标抠图模型，包括：根据所述网络参数的调整结果，得到所述目标抠图模型。7.根据权利要求5所述的方法，其特征在于，所述抠图损失函数包括拉普拉斯损失函数、L1损失函数、边缘损失函数及前景目标损失函数中的至少一个，所述边缘损失函数是根据预测透明图、所述第一透明图和膨胀腐蚀结果构建得到的损失函数，所述膨胀腐蚀结果包括对所述第一透明图分别进行膨胀和腐蚀后得到的结果，所述前景目标损失函数是根据所述预...

【专利技术属性】
技术研发人员：高宇康，焦少慧，杜绪晗，程京，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：