一种将虚拟现实技术与教育培训结合的数据交换系统技术方案

本发明专利技术提出一种将虚拟现实技术与教育培训结合的数据交换系统，包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置；第一视频捕捉装置用于捕捉本地现场教学视频；第二视频虚拟化装置用于将所述本地现场教学视频转化为第二VR教学视频；第三视频采样装置用于对所述本地现场教学视频进行采样，获得第三采样教学视频帧；所述第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频。所述第四视频渲染装置为云端渲染平台，所述云端渲染平台包括至少一个视频增强数据库。基于虚拟显示技术与视频增强技术，本发明专利技术可以获得更好的教育培训效果。好的教育培训效果。

【技术实现步骤摘要】
一种将虚拟现实技术与教育培训结合的数据交换系统


[0001]本专利技术属于虚拟现实与教学
，尤其涉及一种将虚拟现实技术与教育培训结合的数据交换系统、基于该系统实现的方法以及实现该方法的计算机可读介质。

技术介绍

[0002]如今，教育专业人士、学生及企业用户都开始利用现代科技来改进教学方式——以提高教学效率与质量的「3E」为目标：效率(Efficiency)、效力(Effectiveness)和娱乐性(Entertainment)。而这些技术将在未来几年内对在线教育产生不可估量的巨大影响。据Statista最近的一项研究显示，教育行业是投资虚拟现实的第四大行业。时至2025年，虚拟现实教育行业的市场规模有望达到7亿美元，未来五年将增长三倍多。此外，高达97％的学生对虚拟现实教育课程表现出了浓厚的兴趣。
[0003]近年来，随着科学技术不断发展，智能移动设备和网络技术也在迅速普及，增强现实技术在教育、社交、娱乐等方面的需求日渐增长，并慢慢渗透到人们的日常生活中，这为增强现实技术在高校教学应用中的普及提供了新的途径。
[0004]申请号为CN202010395546.7的中国专利技术专利申请提出一种虚拟现实教育系统，包括教师端，用于获取远程教师的图像；授课计算机，用于运行学习内容，并实现与学生用户的交互；学生VR头显，用于显示学生需要学习的虚拟现实内容；管理端主机，用于控制所述授课计算机和所述学生VR头显的运行；无线AP端，用于为所述教师端、所述授课计算机、所述学生VR头显和所述管理端主机提供局域网通讯；和pad端，用于家长对学生VR头显端的学生的使用状态进行监控。通过教师端与学生端以及家长端的相互配合使得整个学习线效率更高，且通过VR头显和虚拟现实手套的配合使用，使得学生在上课时的投入程度更高，使得学生具有更好的状态。
[0005]中国专利技术专利公开文本CN108288419A公开一种基于AR/VR技术的职教工匠平台，其包括：AR服务器，用于存储虚拟教室场景以及教学内容；摄像头，用于捕捉使用者的肢体动作；处理器，用于接收摄像头捕捉的肢体动作，并将所述肢体动作进行识别，所述处理器通过有线或无线网络与AR服务器进行通讯，用于将识别后肢体动作发送给AR服务器，由AR服务器将其生成虚拟动作，并控制虚拟教室场景中的相应的虚拟人员执行所述虚拟动作；虚拟现实设备，用于通过处理器接收并显示所述虚拟教室场景和教学内容。该专利技术通过设置虚拟教室场景，与使用者的肢体动作增加到虚拟教室场景中，便于演示，互动性好，增加了学习乐趣。
[0006]然而，一方面，本地视频VR/AR处理能力通常有限，因此VR/AR通常需要后台服务器例如云端渲染能力的支持；另一方面，在视频虚拟化(VR)以及视频增强现实(AR)会产生的大量的视频帧数据交互，如果处理不好数据交互与同步，视频虚拟化(VR)以及视频增强现实(AR)可能会产生明显的数据延迟甚至堵塞，从而给视频虚拟化(VR)以及视频增强现实(AR)的教学效果带来负面影响。

技术实现思路

[0007]为解决上述技术问题，本专利技术提出一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置、视频切分装置、视频融合装置与视频分发装置。第一视频捕捉装置用于捕捉本地现场教学视频；视频切分装置将所述第一视频捕捉装置捕捉的本地现场教学视频切分为多个部分；第二视频虚拟化装置用于将所述本地现场教学视频转化为第二VR教学视频；第三视频采样装置用于对所述本地现场教学视频进行采样获得第三采样教学视频帧；第四视频渲染装置用于对所述第三采样教学视频帧执行视频增强操作；所述视频融合装置执行融合计算，得到融合教学视频；视频分发装置将所述融合教学视频分发至多个远端用户的视频显示终端。
[0008]本专利技术还提出基于上述数据交换系统的数据交换方法，所述方法包括如下步骤：
[0009]S1：捕捉本地现场教学视频；
[0010]S2：切分本地现场教学视频；
[0011]S3：生成VR教学视频；
[0012]S4：渲染增强教学视频；
[0013]S5：显示融合教学视频。
[0014]本专利技术的上述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述数据交换方法的全部或者部分步骤。
[0015]整体而言，本专利技术提供一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括：
[0016]第一视频捕捉装置，用于捕捉本地现场教学视频，所述现场教学视频为包含多个教学动作的视频帧；
[0017]视频切分装置，将所述第一视频捕捉装置捕捉的本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧；
[0018]第二视频虚拟化装置，用于将由所述本地现场教学视频切分而来的第二教学视频帧转化为第二VR教学视频；
[0019]第三视频采样装置，用于对所述将由所述本地现场教学视频切分而来的第二教学视频帧进行采样，获得第三采样教学视频帧；
[0020]第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频；
[0021]视频融合装置，用于将所述第一教学视频帧、所述第二VR教学视频以及所述第四增强教学视频执行融合计算，得到融合教学视频；
[0022]视频分发装置，用于将所述融合教学视频分发至多个远端用户的视频显示终端。
[0023]在上述技术方案中，所述第二视频虚拟化装置包括多个视频虚拟化模型；
[0024]在上述技术方案中，在得到所述融合教学视频之前，在所述多个远端用户的视频显示终端上显示所述第一教学视频帧；同时，在所述视频融合装置不再输出融合教学视频
之后，在所述多个远端用户的视频显示终端上显示所述第三教学视频帧。
[0025]作为进一步的改进，所述第二视频虚拟化装置与所述视频切分装置通过第一数据管道通信；
[0026]更进一步的，所述第三视频采样装置与所述第一视频捕捉装置通过所述视频切分装置生成的第二数据管道通信，所述第二数据管道为单向数据管道。
[0027]本专利技术的技术方案，在获取本地教学视频之后对其进行关键帧切分，将切分出来的关键视频帧执行VR化操作以及视频增强操作，从而获得融合的虚拟增强现实视频；并且，执行视频增强操作之前对关键帧视频执行了自适应的采样操作，从而避免与云端的大量数据传输；最后，采用数据管道技术进行采样装置与捕获装置、虚拟化装置与切分之间的通信，可以避免不同数据通道之间存在的干扰，尤其是单向数据管道的使用，使得数据传输稳定。
[0028]本专利技术的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将虚拟现实技术与教育培训结合的数据交换系统，所述系统包括第一视频捕捉装置、第二视频虚拟化装置、第三视频采样装置、第四视频渲染装置；所述第一视频捕捉装置，用于捕捉本地现场教学视频，所述现场教学视频为包含多个教学动作的视频帧；所述第二视频虚拟化装置，用于将所述本地现场教学视频转化为第二VR教学视频；所述第三视频采样装置，用于对所述本地现场教学视频进行采样，获得第三采样教学视频帧；所述第四视频渲染装置，用于对所述第三采样教学视频帧执行视频增强操作，得到第四增强教学视频；所述系统还包括视频切分装置、视频融合装置与视频分发装置；所述视频切分装置将所述第一视频捕捉装置捕捉的本地现场教学视频切分为第一教学视频帧、第二教学视频帧和第三教学视频帧；所述视频融合装置将所述第一教学视频帧、所述第二VR教学视频以及所述第四增强教学视频执行融合计算，得到融合教学视频；所述视频分发装置将所述融合教学视频分发至多个远端用户的视频显示终端。2.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：所述现场教学视频为包含多个教学动作的具有第一帧率的视频帧；所述第三视频采样装置基于所述第一帧率确定采样参数，基于所述采样参数对所述本地现场教学视频进行采样，获得多个第三采样教学视频帧。3.如权利要求1所述的一种将虚拟现实技术与教育培训结合的数据交换系统，其特征在于：所述第二视频虚拟化装置包括多个视频虚拟化模型；所述第二视频虚拟化装置基于所述第二教学视频帧的第二帧率，匹配出至少一个目标视频虚拟化模型；将所述第二教学视频...

【专利技术属性】
技术研发人员：李小平，谢超，蒋龙，刘莉，邓曲然，李阮昭，甘鹏，宋冬冬，梁俊，莫文斌，吴清泉，
申请(专利权)人：中国南方电网有限责任公司超高压输电公司，
类型：发明
国别省市：