【技术实现步骤摘要】
本公开涉及图像处理，尤其涉及图层融合方法、装置、设备以及存储介质。
技术介绍
1、在图像编辑和设计中，图层融合是一项常见的操作，用于将多个图层融合为一个单一的图像。
2、现有的图层融合方案有：
3、方案一：(1)用户提供一幅背景图及一副或多幅前景图。其中，前景图包含对应的前景物体分割掩模(mask)；(2)通过分割掩模将前景图的物体置入背景图对应位置；(3)重复第(2)步，直到所有前景图中的物体都放入背景图中，并得到最终的融合图。
4、方案二：(1)用户提供一幅背景图及一副或多幅前景图。其中，前景图包含对应的前景物体分割掩模(mask)；(2)通过分割掩模将前景图的物体置入背景图对应位置；(3)通过ai对第(2)步的融合图进行图生图的生成；(4)重复第(2)步及第(3)步，直到所有前景图全部融入背景图中并得到满意的结果。
5、方案三：(1)用户提供一幅背景图及一副或多幅前景图。其中，前景图包含对应的前景物体分割掩模(mask)；(2)将背景图输入ai模型中，生成背景中间特征；(3)将前景图输入ai模型中，生成前景中间特征；(4)通过缩放后的前景物体分割掩模，将前景中间特征插入背景中间特征的特定位置中；(5)重复第(3)步及第(4)步，直到所有前景中间特征都插入背景中间特征中，得到融合中间特征；(6)融合中间特征通过ai模型生成最终融合图。
6、方案四：(1)用户提供一幅背景图及一副或多幅前景图。其中，前景图包含对应的前景物体分割掩模(mask)；(2)将背景图及前景图同
7、现有方案存在问题：
8、1、融合图中的物体及内容与前背景中的内容不一致(上述方案二)；
9、2、融合图中的前景光照效果与背景光照效果不一致(上述方案一、三)；
10、3、融合图中前景物体没有阴影或阴影不合理(上述方案一、三、四)。
技术实现思路
1、本公开提供了一种图层融合方法、装置、设备以及存储介质。
2、根据本公开的第一方面，提供了一种图层融合方法。该方法包括：
3、接收用户输入的前景图、背景图；对所述前景图进行掩膜提取，得到前景掩膜图；
4、对所述前景图、所述背景图和前景掩膜图进行融合，得到第一融合图；对所述第一融合图进行深度图提取，得到所述第一融合图的深度图；对所述第一融合图的深度图进行深度特征提取，得到深度特征图；
5、分别对所述前景图和背景图进行图像编码处理，得到前景图的编码特征和背景图的编码特征；将所述前景图的编码特征和所述背景图的编码特征分别输入生成器中进行特征重建，得到特征重建后的前景特征图和特征重建后的背景特征图；
6、对所述前景特征图、所述背景特征图和所述前景掩膜图，进行特征融合，得到第一融合特征图；
7、对前景掩膜图进行自适应调整，得到自适应调整大小后的前景掩膜图；
8、将所述深度特征图、所述第一融合特征图和所述自适应调整大小后的前景掩膜图输入生成器中进行特征重建，得到第二融合特征图；
9、对所述第二融合特征图进行图像解码，得到第二融合图。
10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
11、所述前景图为一副或多幅；所述背景图为一副。
12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
13、所述前景掩膜图为二值图像；其中，前景区域为白色，背景区域为黑色；
14、所述对所述前景图、所述背景图和前景掩膜图进行融合，得到第一融合图，包括：
15、使用前景掩膜图从前景图中提取任意区域，其中，提取任意区域的操作通过对前景掩膜图和前景图进行按位与操作实现；
16、将提取的前景区域与背景图对应区域进行融合，得到第一融合图。
17、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述第一融合图进行深度图提取，得到所述第一融合图的深度图，包括：
18、获取所述第一融合图中每个像素点的场景相关度；
19、对所述第一融合图连续下采样，获取所述第一融合图每个下采样图像中每个像素点的场景相关度；
20、将当前下采样图像中每个像素点与之前下采样图像中相对应的像素点进行块匹配运动矢量计算，得到当前下采样图像中每个像素点的运动矢量值；
21、累加当前下采样图像中每个像素点的运动矢量值，从运动矢量累加和中提取每个像素点的初始深度值，初始深度值构成初始深度图；
22、利用所述第一融合图中每个像素点的场景相关度和每个下采样图像中每个像素点的场景相关度对初始深度图中每个像素点进行连续超平滑滤波处理和上采样处理，得到所述第一融合图的深度图；
23、其中，场景相关度为在一帧图像中任一像素点与其周围相邻像素点的相关程度。
24、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
25、所述对所述前景特征图、所述背景特征图和所述前景掩膜图，进行特征融合，得到第一融合特征图，包括：
26、将所述前景特征图和所述背景特征图按照所述前景掩膜图，进行alpha混合处理，得到第一融合特征图。
27、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对前景掩膜图进行自适应调整通过自适应mask过滤模块进行，所述自适应mask过滤模块配置有自适应阈值分割技术和自适应滤波技术。
28、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
29、所述深度特征图包括所述第一融合图的深度图的光照信息和阴影信息；
30、所述自适应调整大小后的前景掩膜图携带有前景物体的位置信息；
31、将所述深度特征图、所述第一融合特征图和所述自适应调整大小后的前景掩膜图输入生成器中进行特征重建，得到第二融合特征图，包括：
32、利用生成器，以所述光照信息和阴影信息为条件，生成符合所述位置信息的前景物体的阴影图像；并根据所述阴影图像对所述第一融合特征图进行特征重建，得到特征重建后的第二融合特征图。
33、根据本公开的第二方面，提供了一种图层融合装置。该装置包括：
34、数据接收模块，用于接收用户输入的前景图、背景图；对所述前景图进行掩膜提取，得到前景掩膜图；
35、特征处理模块，用于对所述前景图、所述背景图和前景掩膜图进行融合，得到第一融合图；对所述第一融合图进行深度图提取，得到所述第一融合图的深度图；对所述第一融合图的深度图进行深度特征提取，得到深度特征图；
36、所述特征处理模块，还用于分别对所述前景图和背景图进行图像编码处理，得到前景图的编码特征和背景图的编码特征；将所述前景图的编码特征和所述背景图的编码特征分别输入生成器中本文档来自技高网...
【技术保护点】
1.一种图层融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，所述对所述第一融合图进行深度图提取，得到所述第一融合图的深度图，包括：
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求1所述的方法，其特征在于，对前景掩膜图进行自适应调整通过自适应mask过滤模块进行，所述自适应mask过滤模块配置有自适应阈值分割技术和自适应滤波技术。
7.根据权利要求6所述的方法，其特征在于，
8.一种图层融合装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一权利要求所述的方法。
【技术特征摘要】
1.一种图层融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，所述对所述第一融合图进行深度图提取，得到所述第一融合图的深度图，包括：
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求1所述的方法，其特征在于，对前景掩膜图进行自适应调整通...
【专利技术属性】
技术研发人员：李文瑜，郭天楚，李鹏宇，汪彪，华先胜，
申请(专利权)人：重庆特斯联智慧科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。