基于虚拟现实的视频会议融合方法及其系统技术方案

本发明专利技术提供了一种基于虚拟现实的视频会议融合方法及其系统，所述方法包括：在第一VR端：接收选定的虚拟场景模型；捕获第一VR端音视频数据；利用编码器将第一VR端音视频数据进行编码，获得编码后的第一VR端音视频数据，并与第一VR端数字人模型一同发送至第二VR端。在第二VR端：接收选定的虚拟场景模型；将所接收的编码后的第一VR端音视频数据进行解码；将解码后的第一VR端音视频数据以及相应的第一VR端数字人模型渲染到选定的虚拟场景模型中，获得渲染后的VR端视频数据；播放解码后的第一VR端音频数据以及渲染后的VR端视频数据。本发明专利技术的方法及其系统实现了高沉浸度视频会议的同时，一定程度保留了会议的真实性。一定程度保留了会议的真实性。一定程度保留了会议的真实性。

【技术实现步骤摘要】
基于虚拟现实的视频会议融合方法及其系统


[0001]本专利技术涉及通信
，具体地，涉及视频会议融合方法及其系统。

技术介绍

[0002]基于互联网的视频通信技术被广泛应用于工作和生活的视频会议场景。其中，如图1所示的普通视频会议通过视频采集、视频编解码以及网络传输等技术，解决了异地与会的问题，用户可以随时随地参加会议。但由于与会者与会地点各不相同，及受与会者当时所处环境的复杂度影响，导致与会者的沉浸度很难得到保证，具体体现为低专注度、低效率和高疲劳度。
[0003]如图2所示的远真视频会议使用与远端相同的环境布局——相同的办工环境，包括桌椅墙壁等，及这些家具与远端相同的、精确的摆放角度和位置，多个屏幕及摄像头实现的远端会议室与当前会议室的完美衔接，以及与实际大小相符的人物呈现，给用户带来普通视频会议所无法达到的沉浸式视频会议体验。但受成本、设备设施条件和需要精确环境配置方案的限制，用户很难甚至无法自己配置一个能与远端完美衔接的会议室。
[0004]完全基于虚拟现实的网络会议彻底抛弃了普通视频会议的框架，将人物和会议环境以完全虚拟的状态呈现，因此这种技术方案可以给用户带来非常好的沉浸式会议体验。但由于会议环境完全是虚拟构建的，因此用户很难达到虚实结合的状态。如在一些需要呈现真实画面的场景，这些画面可能是会议主持人需要给大家展示的数据资料，亦或是某个公司正在宣传的某款产品的示意图，甚至是新员工入职欢迎会中新员工自我介绍的画面，像在这些会议场合中使用完全基于虚拟现实的网络会议就无法很好达到会议目的。<br/>
技术实现思路

[0005]本专利技术基于虚拟现实的视频会议融合方法将虚拟现实技术与普通视频会议进行融合，实现高沉浸度视频会议的同时，一定程度保留会议的真实性。基于虚拟现实的视频会议融合方法解决了普通视频会议低专注度、低效率的同时，通过建模技术解决远真视频会议中，由于成本、设备设施条件及需要精确布局方案的限制，而无法达到与远端会议完美衔接的问题。视频会议融合系统通过数字人和立体混音技术展现了完全基于虚拟现实的网络会议的沉浸感的优点，又通过保留普通视频会议的视频传输和渲染方式一定程度地还原会议的真实性。用户只需要戴上头戴式虚拟现实设备即可随时随地体验高沉浸感的融合视频会议。
[0006]第一方面，本专利技术提供了一种基于虚拟现实的视频会议融合方法，所述视频会议至少包括第一VR端和第二VR端，其特征在于，所述方法包括：
[0007]在第一VR端有如下步骤：
[0008]所述第一VR端接收所述选定的虚拟场景模型；
[0009]捕获所述第一VR端音频和/或视频数据；
[0010]利用编码器将所述第一VR端音频和/或视频数据进行编码，获得编码后的第一VR
端音频和/或视频数据，并与第一VR端数字人模型一同发送至第二VR端；
[0011]在第二VR端有如下步骤：
[0012]所述第二VR端接收所述选定的虚拟场景模型；
[0013]将所接收的编码后的第一VR端音频和/或视频数据进行解码；
[0014]将解码后的第一VR端音频和/或视频数据以及相应的第一VR端数字人模型渲染到所述选定的虚拟场景模型中，获得渲染后的VR端视频数据；
[0015]播放解码后的第一VR端音频数据以及渲染后的VR端视频数据。
[0016]第二方面，本专利技术还提供了一种基于虚拟现实的视频会议融合系统，其特征在于，所述系统至少包括第一VR端和第二VR端，其中：
[0017]第一VR端包括：
[0018]第一接收模块，其用于接收选定的虚拟场景模型；
[0019]第一捕获模块，其用于捕获所述第一VR端音频和/或视频数据；
[0020]第一编码器，其用于将所述第一VR端音频和/或视频数据进行编码，获得编码后的第一VR端音频和/或视频数据；
[0021]第一发送模块，其用于将所述编码后的第一VR端音频和/或视频数据与第一VR端数字人模型一同发送至第二VR端；
[0022]所述第二VR端包括：
[0023]第二接收模块，其用于接收所述选定的虚拟场景模型；
[0024]第二解码器，其用于将所接收的编码后的第一VR端音频和/或视频数据进行解码；
[0025]第二渲染模块，其用于将解码后的第一VR端音频和/或视频数据以及相应的第一VR端数字人模型渲染到所述选定的虚拟场景模型中，获得渲染后的VR端视频数据；
[0026]第二播放模块，其用于播放解码后的第一VR端音频数据以及渲染后的VR端视频数据。
[0027]本专利技术提供的基于虚拟现实的视频会议融合方法及其系统，与现有技术相比带来的有益效果有：第一，与普通视频会议相比，本专利技术能够大幅提升用户与会的沉浸感，提高与会专注度和效率；第二，与远真视频会议相比，本专利技术能大幅降低本地与会成本及环境部署难度；第三，与完全基于虚拟现实的网络会议相比，本专利技术能够一定程度保留会议的真实性，达到虚实结合的效果。
附图说明
[0028]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是现有技术中普通线上视频会议效果图；
[0030]图2是现有技术中远真视频会议效果图；
[0031]图3是本专利技术实施例1提供的视频会议融合方法流程图；
[0032]图4是本专利技术实施例中VR端头戴式虚拟现实设备中呈现的会议效果图；
[0033]图5是本专利技术实施例2提供的视频会议融合方法流程图；
[0034]图6是本专利技术实施例3提供的视频会议融合方法流程图；
[0035]图7是本专利技术实施例4提供的视频会议融合方法流程图；
[0036]图8是本专利技术实施例5提供的视频会议融合系统示意图；
[0037]图9是本专利技术实施例6提供的视频会议融合系统示意图；
[0038]图10是本专利技术实施例7提供的视频会议融合系统示意图；
[0039]图11是本专利技术实施例8提供的视频会议融合系统示意图。
具体实施方式
[0040]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0041]专利技术概述
[0042]如前所述，本专利技术提供了一种基于虚拟现实的视频会议融合方法及其系统，实现高沉浸度视频会议的同时，一定程度保留会议的真实性。
[0043]示例性方法
[0044]为了阐述清楚本专利技术的原理，在此列举4种从一个用户端到另一个用户端的数据传输具体实施方式。所述用户端包括VR端和真实端。VR端是指通过头戴式虚拟现实设备体验高沉浸感的用户端。真实端是指无需佩戴头戴式虚拟现实设备，其用户直接观看显示器屏幕的用户端，与普通会议视频的用户端一样，无需虚拟场景模型，仅启用其所在的真实场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实的视频会议融合方法，所述视频会议至少包括第一VR端和第二VR端，其特征在于，所述方法包括：在第一VR端有如下步骤：所述第一VR端接收选定的虚拟场景模型；捕获所述第一VR端音频和/或视频数据；利用编码器将所述第一VR端音频和/或视频数据进行编码，获得编码后的第一VR端音频和/或视频数据，并与第一VR端数字人模型一同发送至第二VR端；在所述第二VR端有如下步骤：所述第二VR端接收所述选定的虚拟场景模型；将所接收的编码后的第一VR端音频和/或视频数据进行解码；将解码后的第一VR端音频和/或视频数据以及相应的第一VR端数字人模型渲染到所述选定的虚拟场景模型中，获得渲染后的VR端视频数据；播放解码后的第一VR端音频数据以及渲染后的VR端视频数据。2.根据权利要求1所述的视频会议融合方法，所述视频会议还包括第三VR端，其特征在于：在所述第三VR端有如下步骤：所述第三VR端接收所述选定的虚拟场景模型；捕获第三VR端音频和/或视频数据；利用编码器将所述第三VR端音频和/或视频数据进行编码，获得编码后的第三VR端音频和/或视频数据，并与第三VR端数字人模型一同发送至所述第二VR端；在所述第二VR端有如下步骤：将所接收的编码后的第三VR端音频和/或视频数据进行解码；将解码后的第三VR端音频和/或视频数据以及相应的第三VR端数字人模型与解码后的第一VR端音频和/或视频数据以及相应的第一VR端数字人模型一同渲染到同一个所述选定的虚拟场景模型中，获得渲染后的VR端视频数据；播放解码后的第一和第三VR端音频数据以及渲染后的VR端视频数据。3.根据权利要求1或2所述的视频会议融合方法，所述视频会议还包括至少一个真实端，其中所述真实端所在的场景与所述选定的虚拟场景模型一致，其特征在于：在所述真实端有如下步骤：捕获真实端音频和/或视频数据；利用编码器将所述真实端音频和/或视频数据进行编码，获得编码后的真实端音频和/或视频数据，并发送至所述第二VR端；在所述第二VR端有如下步骤：将所接收的编码后的真实端音频和/或视频数据进行解码；将解码后的真实端视频数据渲染到所述选定的虚拟场景模型的屏幕中，获得渲染后的VR端视频数据；播放解码后的第一和/或第三VR端音频数据、解码后的真实端音频数据以及渲染后的VR端视频数据。4.根据权利要求1
‑
3中任意一项所述的视频会议融合方法，所述视频会议还包括至少
一个真实端，其特征在于：在所述第一VR端有如下步骤：将编码后的第一VR端音频和/或视频数据与第一VR端数字人模型一同发送至所述真实端；在所述真实端有如下步骤：所述真实端接收所述选定的虚拟场景模型；将所接收的编码后的第一VR端音频和/或视频数据进行解码；将解码后的第一VR端音频和/或视频数据以及相应的第一VR端数字人模型渲染到所述选定的虚拟场景模型中，获得渲染后的VR端视频数据；在所述真实端的屏幕上播放解码后的第一VR...

【专利技术属性】
技术研发人员：朱家昊，赵兴国，
申请(专利权)人：上海赛连信息科技有限公司，
类型：发明
国别省市：