虚拟环境中的视频融合方法和在线视频会议通信方法技术

本申请提供了一种虚拟环境中的视频融合方法和在线视频会议通信方法，涉及视频处理技术领域，方法包括：获取虚拟环境图像和多个视频，多个视频包含多个目标对象；针对多个目标对象中的任一目标对象，确定目标对象在所属视频中的目标掩码信息、目标对象在虚拟环境图像中的位置信息、目标对象在虚拟环境图像中的深度掩码信息，深度掩码信息表征目标对象与虚拟环境图像之间的遮挡关系；基于目标掩码信息、位置信息和深度掩码信息，将多个视频和虚拟环境图像进行融合，得到包含多个目标对象的融合视频。本实施例中，基于深度掩码信息进行视频融合，可以准确表现目标对象和虚拟环境信息之间的遮挡关系，得到的融合视频更真实，呈现效果更好。果更好。果更好。

【技术实现步骤摘要】
虚拟环境中的视频融合方法和在线视频会议通信方法


[0001]本申请涉及视频处理
，尤其涉及一种虚拟环境中的视频融合方法和在线视频会议通信方法。

技术介绍

[0002]受疫情影响许多人选择在家中工作或学习。随着工作环境的变化，人们的沟通方式也从离线转向了在线。这一事实导致了对在线会议的需求显著增加，但与此同时，在线会议影响了人们的沟通效率和沉浸感。在现场会议中，人们在同一个环境中聚在一起，一目了然。对于视频会议，每个人一次只能在不同的地方观看一个人。这导致在线会议缺乏团聚感和氛围，降低了人们的沟通效率。
[0003]随着网络会议的普及，基于虚拟背景的图像融合得到了广泛的应用。将开会的多个人的视频融合到同一虚拟场景中，呈现多人在同一虚拟场景中开会的效果，可以增强开会的氛围。然而，目前的视频融合方法，直接提取输入视频的人像部分放到同一场景中，缺乏对不同输入视频的适应性，视频融合之后呈现出的视觉效果较差。

技术实现思路

[0004]本申请实施例提供一种虚拟环境中的视频融合方法和在线视频会议通信方法，以提升视频融合之后的呈现效果。
[0005]第一方面，本申请实施例提供了一种虚拟环境中的视频融合方法，包括：
[0006]获取虚拟环境图像和多个视频，多个视频包含多个目标对象；
[0007]针对多个目标对象中的任一目标对象，确定目标对象在所属视频中的目标掩码信息、目标对象在虚拟环境图像中的位置信息、目标对象在虚拟环境图像中的深度掩码信息，深度掩码信息表征目标对象与虚拟环境图像之间的遮挡关系；
[0008]基于目标掩码信息、位置信息和深度掩码信息，将多个视频和虚拟环境图像进行融合，得到包含多个目标对象的融合视频。
[0009]第二方面，本申请实施例提供了一种虚拟环境中的视频融合装置，包括：
[0010]获取模块，用于获取虚拟环境图像和多个视频，多个视频包含多个目标对象；
[0011]确定模块，用于针对多个目标对象中的任一目标对象，确定目标对象在所属视频中的目标掩码信息、目标对象在虚拟环境图像中的位置信息、目标对象在虚拟环境图像中的深度掩码信息，深度掩码信息表征目标对象与虚拟环境图像之间的遮挡关系；
[0012]融合模块，用于基于目标掩码信息、位置信息和深度掩码信息，将多个视频和虚拟环境图像进行融合，得到包含多个目标对象的融合视频。
[0013]第三方面，本申请实施例提供了一种在线视频会议通信方法，包括：
[0014]接收第一用户设备传输的第一视频流，并从第一视频流获取第一目标对象；
[0015]接收虚拟环境图像；
[0016]接收第二用户设备传输的第二视频流，并从第二视频流获取第二目标对象；
[0017]针对第一目标对象和第二目标对象中的任一目标对象，确定任一目标对象在所属视频流中的目标掩码信息、任一目标对象在虚拟环境图像中的位置信息、任一目标对象在虚拟环境图像中的深度掩码信息，深度掩码信息表征任一目标对象与虚拟环境图像之间的遮挡关系；
[0018]基于目标掩码信息、位置信息和深度掩码信息，将第一视频流、第二视频流和虚拟环境图像进行融合，得到包含第一目标对象和第二目标对象的融合视频流。
[0019]第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器在执行计算机程序时实现上述任一项的方法。
[0020]第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例提供的方法。
[0021]与现有技术相比，本申请具有如下优点：
[0022]本申请实施例提供一种虚拟环境中的视频融合方法和在线视频会议通信方法，获取虚拟环境图像和多个视频，多个视频包含多个目标对象；针对多个目标对象中的任一目标对象，确定目标对象在所属视频中的目标掩码信息、目标对象在虚拟环境图像中的位置信息、目标对象在虚拟环境图像中的深度掩码信息，深度掩码信息表征目标对象与虚拟环境图像之间的遮挡关系；基于目标掩码信息、位置信息和深度掩码信息，将多个视频和虚拟环境图像进行融合，得到包含多个目标对象的融合视频。本实施例中，基于深度掩码信息进行视频融合，可以准确表现目标对象和虚拟环境信息之间的遮挡关系，得到的融合视频更真实，呈现效果更好。
[0023]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0024]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
[0025]图1为本申请提供的虚拟环境中的视频融合方法的场景示意图；
[0026]图2为本申请一实施例的虚拟环境中的视频融合方法的流程图；
[0027]图3为相关技术中的视频融合方法的示意图；
[0028]图4为本申请一实施例提供的虚拟环境中的视频融合方法的示意图；
[0029]图5为本申请一实施例提供的在线视频会议通信方法的流程图；
[0030]图6为本申请一实施例的虚拟环境中的视频融合装置的结构框图；
[0031]图7为本申请一实施例提供的在线视频会议通信装置的结构框图；以及
[0032]图8为用来实现本申请实施例的电子设备的框图。
具体实施方式
[0033]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。
因此，附图和描述被认为本质上是示例性的，而非限制性的。
[0034]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
[0035]图1为示例性的用于实现本申请实施例的方法的一个应用场景的示意图。如图1所示，将多个包含目标对象的视频(目标对象1的视频、目标对象2的视频、目标对象3的视频)和虚拟场景图像进行融合，得到融合视频。其中，目标对象包括但不限于人、动物、任意物体。虚拟场景图像也可以是虚拟场景的视频。本申请实施例可以应用到视频会议中，服务器或者用户设备获取多个包含人像的视频和虚拟环境图像；确定人像在视频中的目标掩码信息、人像在虚拟环境图像中的位置信息、人像在虚拟环境图像中的深度掩码信息，基于目标掩码信息、位置信息和深度掩码信息，将多个包含人像的视频和虚拟环境图像进行融合，得到融合视频，融合视频中呈现多个人物在同一虚拟场景中开会的画面，可以增强多人开会的氛围。
[0036]本申请实施例提供了一种虚拟环境中的视频融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟环境中的视频融合方法，其特征在于，所述方法包括：获取虚拟环境图像和多个视频，所述多个视频包含多个目标对象；针对所述多个目标对象中的任一目标对象，确定所述目标对象在所属视频中的目标掩码信息、所述目标对象在所述虚拟环境图像中的位置信息、所述目标对象在所述虚拟环境图像中的深度掩码信息，所述深度掩码信息表征所述目标对象与所述虚拟环境图像之间的遮挡关系；基于所述目标掩码信息、所述位置信息和所述深度掩码信息，将所述多个视频和所述虚拟环境图像进行融合，得到包含所述多个目标对象的融合视频。2.根据权利要求1所述的方法，其特征在于，确定所述目标对象在所述虚拟环境图像中的深度掩码信息，包括：获取所述目标对象在所属视频中的第一深度信息和所述虚拟环境图像的第二深度信息；根据所述第一深度信息和所述第二深度信息的比较结果，确定所述深度掩码信息。3.根据权利要求1所述的方法，其特征在于，确定所述目标对象在所述虚拟环境图像中的位置信息，包括：确定所述目标对象在所述虚拟环境图像中的初始位置信息和位置调整信息；利用所述位置调整信息对所述初始位置信息进行调整，得到所述位置信息。4.根据权利要求3所述的方法，其特征在于，确定位置调整信息，包括：确定所述目标对象在所述视频中的关键点位置；根据所述关键点位置、所述视频中视频帧的尺寸信息以及所述视频在所述虚拟环境图像中的尺寸信息，确定所述位置调整信息。5.根据权利要求4所述的方法，其特征在于，所述目标对象为人，所述确定所述目标对象在所述视频中的关键点位置，包括：在所述视频的图像中，从表征人体不同部位的点中确定所述目标对象在所述视频中的关键点位置。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述基于所述目标掩码信息、所述位置信息和所述深度掩码信息，将所述多个视频和所述虚拟环境图像进行融合，包括：基于所述目标掩码信息、所述位置信息、所述深度掩码信息和所述目标对象在所述虚拟环境图像中的尺寸信息，将所述多个视频和所述虚拟环境图像进行融合，得到包含多个目标对象的融合视频。7.根据权利要求6所述的方法，其特征在...

【专利技术属性】
技术研发人员：李彬哲，王钊，叶琰，王诗淇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：