一种基于虚拟现实多源深度交互的智慧教育平台及方法技术

本发明专利技术涉及一种基于虚拟现实多源深度交互的智慧教育平台及方法，包括基于大数据的教育资源服务器、虚拟现实显示服务器、中继服务器、数据通讯网络、教育服务终端，基于大数据的教育资源服务器、虚拟现实显示服务器间通过中继服务器连接，中继服务器另通过数据通讯网络与教育服务终端建立数据连接。使用方法包括系统装配，教学活动及教学交互步骤。本发明专利技术可有效满足多种复杂环境下远程教学活动作业的需要；通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，并在教学过程中根据学习注意力及疲劳度调整教学计划及内容，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养。和培养。和培养。

【技术实现步骤摘要】
一种基于虚拟现实多源深度交互的智慧教育平台及方法


[0001]本专利技术涉及一种基于虚拟现实多源深度交互的智慧教育平台及方法，属于在线远程教育


技术介绍

[0002]目前随着远程教育在市场上得到了广泛的应用和推广，但在实际远程教学活动中发现，当前所使用的教学系统往往均基于传统的电脑、智能通讯终端等设备，从配置了教学资源的远程服务器中获得相应的教学资源，从而满足学员学习的需要，虽然可以一定程度上满足使用的需要，但一方面导致学员在学习过程中，往往均处于单方面教学资源接收状态，与教育系统及处于同一教学系统中相关学员间缺乏有效的信息交流，同时也无法根据学员学习需要调整学习环境和对学员学习状态进行监控，从而导致教学活动单调且枯燥，教学效率和质量相对较差，另一方面在教学过程中，当前的学习系统也无法精确的对各学员的学习能力、学习需求及学习习惯进行分析判断，因此无法对各学员的学习需求精确的进行教学资源匹配，从而进一步影响了学员远程学习效率和学习质量。

技术实现思路

[0003]为了解决现有技术上的不足，本专利技术提供一种基于虚拟现实多源深度交互的智慧教育平台及方法，通过采集的学员眼动信息对学习状态进行分析，对学员学习注意力及疲劳度进行分析预判，从而有效的满足根据学员特点有针对性开展教学活动，并对学员学习习惯纠正和培养，有效的提高远程教学作业的工作效率和学习质量。
[0004]本专利技术的基于虚拟现实多源深度交互的智慧教育平台，包括基于大数据的教育资源服务器、虚拟现实显示服务器、中继服务器、数据通讯网络、教育服务终端，所述基于大数据的教育资源服务器、虚拟现实显示服务器间通过中继服务器连接，所述中继服务器另通过数据通讯网络与教育服务终端建立数据连接，所述教育服务终端若干，各教育服务终端均通过通讯网关与数据通讯网络建立数据连接，且每个通讯网关均与至少一个教育服务终端构成一个学习组；所述的基于大数据的教育资源服务器采用基于ACT—R构架的数据处理系统，包括基于CNN神经网络系统、RNN神经网络系统、ResNet残差网络、前馈神经网络系统、LSTM神经网络系统、PID模糊控制系统及教学资源数据库，所述CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统相互并联，且CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统输入端分别与ResNet残差网络、前馈神经网络系统连接，且所述ResNet残差网络、前馈神经网络系统间通过PID模糊控制系统连接，所述PID模糊控制系统另与教学资源数据库建立数据连接，所述教学资源数据库另分别与CNN神经网络系统、RNN神经网络系统输出端连通；所述的教育服务终端包括虚拟现实头盔、操控手柄、监控摄像头、显示器、主控箱及驱动电路，每个监控摄像头外表面均设一个亮度传感器，所述虚拟现实头盔、操控手柄、监控摄像头、显示器、亮度传感器均至少一个，并分别与驱动电路电气连接，所述驱动电路嵌于主控箱内。
[0005]上述的虚拟现实显示服务器为采用Faster
‑
R
‑
CNN算法为图像识别处理基础；采用空域算法和时域算法相结合的混合算法为视频处理基础；且虚拟现实显示服务器另设图像场景数据库、教学资源数据库、PID模糊控制系统及堆栈管理系统，所述图像识别处理基础、视频处理基础均与PID模糊控制系统建立数据连接，且PID模糊控制系统通过堆栈管理系统分别与图像场景数据库、教学资源数据库建立数据连接。
[0006]上述的教学资源数据库、图像场景数据库均为SQL数据库及key
‑
value数据库中的任意一种，同时，所述教学资源数据库、图像场景数据库均采用网状模型、关系模型、面向对象模型中的任意一种或几种共用。
[0007]上述的教学资源数据库包括课程教学资源模块、教师人力资源模块、学员人力资源模块、辅助教学资源模块、学员效果汇总模块；所述图像场景数据库包括教学环境仿真模块、学员面部识别管理模块，所述学员面部识别管理模块包括面部识别单元、眼动监控单元及基于眼动疲劳度判断模块。
[0008]上述的教育服务终端另设基于学习桌、学习椅中任意一种或两种公用的承载机构，所述操控手柄、显示器均与承载机构连接，所述监控摄像头共两个，其中一个与承载机构上铰接，另一个嵌于虚拟现实头盔外表面，且其光轴与虚拟现实头盔前端面垂直分布，所述亮度传感器与监控摄像头数量一致，其亮度传感器光轴与监控摄像头光轴呈0
°
—120
°
夹角，所述主控箱嵌于承载机构外侧面，并通过滑槽与承载机构滑动连接。
[0009]上述的驱动电路为基于FPGA芯片的数据处理电路，另设无线数据通讯电路、串口通讯电路、多路稳压电源、电源接线端子、通讯端子及无线数据通讯天线，所述电源接线端子、通讯端子嵌于主控箱外侧面，所述通讯天线包括至少一条外置天线及至少一条贴片天线，其中所述贴片天线嵌于主控箱内并与主控箱侧壁内表面连接，所述外置天线通过铰链机构与主控箱外表面铰接。
[0010]上述的智慧教育平台的教育方法，包括如下步骤：首先构建一个基于大数据的教育资源服务器、虚拟现实显示服务器，并使基于大数据的教育资源服务器、虚拟现实显示服务器之间通过中继服务器连接，同时通过中继服务器与数据通讯网络间建立数据连接，然后根据参与教学工作的单位、人员分布位置和数量，设置若干教育服务终端，并使各教育服务终端通过中继服务器与数据通讯网络建立数据连接；由基于大数据的教育资源服务器分别为虚拟现实显示服务器、中继服务器及各教育服务终端分配数据通讯地址，同时采集虚拟现实显示服务器、中继服务器及各教育服务终端的硬件识别和软件版本号，最后由基于大数据的教育资源服务器与虚拟现实显示服务器间对教学资源信息共享，同时向各教育服务终端推送教学远程操控终端子程序，实现系统互联作业；学员通过教育服务终端开展学习活动，在学习活动中，通过教育服务终端虚拟现实头盔和显示器为学员提供教学环境虚拟仿真及教学内容同步展示，同时通过操控手柄对学习内容进行选择和操控；通过监控摄像头对学员学习活动现场环境及学员状态进行采集，通过亮度传感器对学员学习环境亮度进行监控，并根据亮度环境同步调整显示器、虚拟现实头盔亮度、色调同步调整，从而满足学习活动及对学习场景虚拟仿真需要；然后在学习过程中，由教育服务终端向基于大数据的教育资源服务器、虚拟现实显示服务器同时发送
学习请求，由基于大数据的教育资源服务器根据各教育服务终端发送的请求分别为各教育服务终端分配相应的教学数据资源，由虚拟现实显示服务器根据教学内容及各教育服务终端发送的教学请求向各教育服务终端发送相应的虚拟教学场景信息，从而实现对学习环境进行虚拟仿真作业；通过教育服务终端的监控摄像头对学员进行面部信息采集，完成学员身份识别，同时通过虚拟现实头盔对学员的眼球活动进行监控，通过眼球活动信息由基于大数据的教育资源服务器、虚拟现实显示服务器对学员学习状态分析，对学员的注意力和学员疲劳度进行监控；由基于大数据的教育资源服务器、虚拟现实显示服务器对各学员身份信息、学习需求数据、学习结果数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：包括基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）、中继服务器（23）、数据通讯网络（24）、教育服务终端（25），所述基于大数据的教育资源服务器（21）、虚拟现实显示服务器（22）间通过中继服务器（23）连接，所述中继服务器（23）另通过数据通讯网络（24）与教育服务终端（25）建立数据连接，所述教育服务终端（25）若干，各教育服务终端（25）均通过通讯网关（26）与数据通讯网络（24）建立数据连接，且每个通讯网关（26）均与至少一个教育服务终端（25）构成一个学习组；所述的基于大数据的教育资源服务器（21）采用基于ACT—R构架的数据处理系统，包括基于CNN神经网络系统、RNN神经网络系统、ResNet残差网络、前馈神经网络系统、LSTM神经网络系统、PID模糊控制系统及教学资源数据库，所述CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统相互并联，且CNN神经网络系统、RNN神经网络系统和LSTM神经网络系统输入端分别与ResNet残差网络、前馈神经网络系统连接，且所述ResNet残差网络、前馈神经网络系统间通过PID模糊控制系统连接，所述PID模糊控制系统另与教学资源数据库建立数据连接，所述教学资源数据库另分别与CNN神经网络系统、RNN神经网络系统输出端连通；所述的教育服务终端（25）包括虚拟现实头盔（1）、操控手柄（2）、监控摄像头（3）、显示器（4）、主控箱（6）及驱动电路（7），每个监控摄像头（3）外表面均设一个亮度传感器（5），所述虚拟现实头盔（1）、操控手柄（2）、监控摄像头（3）、显示器（4）、亮度传感器（5）均至少一个，并分别与驱动电路（7）电气连接，所述驱动电路（7）嵌于主控箱（6）内。2.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的虚拟现实显示服务器（22）为采用Faster
‑
R
‑
CNN算法为图像识别处理基础；采用空域算法和时域算法相结合的混合算法为视频处理基础；且虚拟现实显示服务器（22）另设图像场景数据库、教学资源数据库、PID模糊控制系统及堆栈管理系统，所述图像识别处理基础、视频处理基础均与PID模糊控制系统建立数据连接，且PID模糊控制系统通过堆栈管理系统分别与图像场景数据库、教学资源数据库建立数据连接。3.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教学资源数据库、图像场景数据库均为SQL数据库及key
‑
value数据库中的任意一种，同时，所述教学资源数据库、图像场景数据库均采用网状模型、关系模型、面向对象模型中的任意一种或几种共用。4.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教学资源数据库包括课程教学资源模块、教师人力资源模块、学员人力资源模块、辅助教学资源模块、学员效果汇总模块；所述图像场景数据库包括教学环境仿真模块、学员面部识别管理模块，所述学员面部识别管理模块包括面部识别单元、眼动监控单元及基于眼动疲劳度判断模块。5.根据权利要求1所述的一种基于虚拟现实多源深度交互的智慧教育平台，其特征在于：所述的教育服务终端（25）另设基于学习桌、学习椅中任意一种或两种公用的承载机构（8），所述操控手柄（2）、显示器（4）均与承载机构（8）连接，所述监控摄像头（3）共两个，其中一个与承载机构（8）上铰接，另一个嵌于虚拟现实头盔（1）外表面，且其光轴与虚拟现实头盔（1）前端面垂直分布，所述亮度传感器（5）与监控摄像头（3）数量一致，其亮度传感器（5）光轴与监控摄像头（3）光轴呈0
°
—120
°
夹角，所述主控箱（6）嵌于承载机构（8）外侧面，并通过滑槽（9）与承载机构（8）滑动连接。
6.根据权利要求5所述的一种基于虚拟现实多源深度...

【专利技术属性】
技术研发人员：胡素梅，
申请(专利权)人：南京泛智信息技术有限公司，
类型：发明
国别省市：