一种图像处理方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法、装置、电子设备和存储介质，该方法包括：获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像；将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像；将所述待处理图像与所述映射图像进行拼接，获得输入图像；将所述输入图像输入至已训练的编码器

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]数字图像抠图技术的主要目的是分离图像中的前景与背景画面，从而实现前景提取与虚拟背景的替换，广泛应用于视频会议背景替换、电影的拍摄制作、图像后期编辑、海报制作等场景。
[0003]因此，提供一种抠图效果较好的算法非常有必要。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种图像处理方法、装置、电子设备和存储介质，改善了抠图效果。
[0005]第一方面，本公开实施例提供了一种图像处理方法，该方法包括：获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像；将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像；将所述待处理图像与所述映射图像进行拼接，获得输入图像；将所述输入图像输入至已训练的编码器
‑
解码器单元，获得所述预设目标的透明图像。
[0006]第二方面，本公开实施例还提供了一种图像处理装置，该装置包括：获取模块，用于获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像；第一输入模块，用于将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像；拼接模块，用于将所述待处理图像与所述映射图像进行拼接，获得输入图像；第二输入模块，用于将所述输入图像输入至已训练的编码器/>‑
解码器单元，获得所述预设目标的透明图像。
[0007]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述第一方面所述的图像处理方法。
[0008]第四方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上第一方面所述的图像处理方法。
[0009]第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计
算机程序在被处理器执行时实现上述第一方面所述的图像处理方法。
[0010]本公开实施例提供的技术方案与现有技术相比至少具有如下优点：本公开实施例提供的图像处理方法，通过获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像；将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像；将所述待处理图像与所述映射图像进行拼接，获得输入图像；将所述输入图像输入至已训练的编码器
‑
解码器单元，获得所述预设目标的透明图像的技术手段，可达到改善抠图效果的目的。
附图说明
[0011]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0012]图1为本公开实施例中的一种图像处理方法的流程图；图2为本公开实施例中的一种预设目标的透明图像的示意图；图3为本公开实施例中的一种STN的结构示意图；图4为本公开实施例中的一种图像处理方法的流程示意图；图5为本公开实施例中的一种通道注意力子单元的结构示意图；图6为本公开实施例中的一种图像处理装置的结构示意图；图7为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0014]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行以及并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0015]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0016]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0017]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0018]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0019]图1为本公开实施例中的一种图像处理方法的流程图。该方法可以由图像处理装
置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如终端，具体包括但不限于智能手机、掌上电脑、平板电脑、便携式可穿戴设备、智能家居设备（例如台灯）等。
[0020]如图1所示，该方法具体可以包括如下步骤：步骤110、获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像。
[0021]其中，待处理图像指包含预设目标的图像，待处理图像中通常除了预设目标之外，还包括其它物体的图像。例如，在在线课堂场景中，待处理图像为在线课堂的图像，在线课堂的图像中包括上课老师的图像，上课老师的图像即为所述预设目标，待处理图像中还包括背景图像，例如老师上课时使用的幻灯片，该幻灯片即为待处理图像中的背景图像。在本公开实施例中，将待处理图像中的背景图像标记为实时背景图像，该背景图像是通过拍摄装置拍摄获得的。
[0022]所述参考背景图像指所述实时背景图像的原始图像，例如在拍摄获得所述待处理图像之前，可以通过一定的方式获取只包括所述幻灯片，而不包括上课老师的图像，该图像则可以是所述参考背景图像。
[0023]可以理解的是，所述参考背景图像与所述实时背景图像之间可能会存在一些偏移，例如在所述参考背景图像中距离左上角5厘米处有一个汉字“大”，而在所述实时背景图像中所述汉字“大”在距离左上角5.5厘米的位置处。该种现象被称为实时背景图像与参考背景图像之间的不一致问题，虽然实时背景图像和参考背景图像都是针对同一幻灯片的图像，但是两者之间存在一些偏移。
[0024]本公开实施例的方案旨在将上课老师的图像与所述实时背景图像进行分离，提取出上课老师的图像，即将上课老师的图像从待处理图像中进行抠图。如果不对上述不一致问题进行矫正，则会影响最终的抠图效果。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取包含预设目标的待处理图像以及与所述待处理图像对应的参考背景图像；将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像；将所述待处理图像与所述映射图像进行拼接，获得输入图像；将所述输入图像输入至已训练的编码器
‑
解码器单元，获得所述预设目标的透明图像。2.根据权利要求1所述的方法，其特征在于，所述已训练的空间变换网络STN包括级联的卷积单元、平均池化单元和全连接单元；所述卷积单元包括两个级联的卷积子单元，每个卷积子单元包括级联的卷积层、最大池化层和激活函数层。3.根据权利要求2所述的方法，其特征在于，所述将所述参考背景图像输入至已训练的空间变换网络STN，获得所述参考背景图像的映射图像，包括：将所述参考背景图像输入至所述级联的卷积单元、平均池化单元和全连接单元，获得仿射变换矩阵；基于所述仿射变换矩阵对所述参考背景图像进行映射，获得所述映射图像。4.根据权利要求1所述的方法，其特征在于，所述已训练的编码器
‑
解码器单元包括级联的预设编码器、通道注意力子单元和预设解码器。5.根据权利要求4所述的方法，其特征在于，所述将所述输入图像输入至已训练的编码器
‑
解码器单元，获得所述预设目标的透明图像，包括：将所述输入图像输入至所述预设编码器，获得编码信息；将所述编码信息输入至所述通道注意力子单元，获得中间信息；将所述中间信息输入至所述预...

【专利技术属性】
技术研发人员：陈博昱，高原，白锦峰，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：