一种基于增强现实眼镜的远程辅导系统及方法技术方案

本发明专利技术公开了一种基于增强现实眼镜的远程辅导系统及方法，属于数字教学技术领域，至少包括；用于采集教师授课情形、接收学生端数据并进行显示的教师端；用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：所述教师端和学生端均包括增强现实眼镜；所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

A distance tutoring system and method based on augmented reality glasses

【技术实现步骤摘要】
一种基于增强现实眼镜的远程辅导系统及方法
本专利技术属于数字教学
，特别是涉及一种基于增强现实眼镜的远程辅导系统及方法。
技术介绍
众所周知，传统课堂教学模式客观上存在空间局限性和时间局限性，即学生和老师必须在特定的时间到达特定的地点进行教学工作，近年来，随着物联网技术的快速发展，为了克服传统课堂教学模式的上述缺陷，网络教学系统应运而生，目前，现有的网络教学系统主要包括三部分：获取教师或学生音频和视频信息的两个信息录制部、进行数据传送的云端服务器。在新型冠状病毒肺炎疫情防控及教育部延期开学期间“停课不停学”的情况下，网络教学被大量使用，在使用过程中发现，现有的网络教学系统存在如下的缺陷：在传统课堂或课外辅导教学过程中，教师通常会要求学生在黑板上或在稿纸上解题，观察学生对知识点的掌握情况以解题思路是否清晰，以此开展有针对的教学。然而，目前市面上的远程教育系统以直播或录播教师上课视频为主，教学视频的单向传输，缺少与课堂参与者学生的互动，尤其难以实现教师想要实时查看学生在远程的解题情况，以达到了解学生学习程度的目的。
技术实现思路
本专利技术为解决公知技术中存在的技术问题，提供一种基于增强现实眼镜的远程辅导系统及方法，通过增强现实技术模拟课堂教学，可实现学生在家进行沉浸式学习。教师可以与学生进行实时的互动，提高交互式体验。同时利用眼动跟踪技术对学生的注意力进行实时检测，实时发现学生注意力转移等情况，实现有效的注意力管控。通过对学生一定周期内的眼动数据挖掘，可开展课程质量评估以及学生心理及爱好评估工作。本专利技术的第一目的是提供一种基于增强现实眼镜的远程辅导系统，至少包括；用于采集教师授课情形、接收学生端数据并进行显示的教师端；用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：所述教师端和学生端均包括增强现实眼镜；所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。进一步，所述学生端和教师端的增强现实眼镜均搭载前置摄像头，该摄像头用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。进一步，所述教师端和学生端的增强现实眼镜均搭载有语音互动的微型扬声器和麦克风。进一步，所述基于增强现实眼镜的远程辅导系统包括播放课件和/或视频模块、实时辅导和/或事后辅导模块。进一步，所述学生端包括教学视频手动录制模块。进一步，所述基于增强现实眼镜的远程辅导系统还包括图像处理模块，当进行事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。更进一步，云端服务器以基于时间戳的视频截图形式进行存储。本专利技术的第二目的是提供一种基于上述增强现实技术的远程教学系统的方法，包括如下步骤：S101、教师端和学生端通过云端服务器建立数据交互关系；S102、教师端采集教师授课情形的授课数据，并将授课数据发送至云端服务器；S103、学生端通过云端服务器获取实时辅导或事后辅导的数据，进而进入相应的辅导课程；当学生选择实时辅导时，则教师端和学生端的增强现实眼镜同步开启，并将本地获取到的数据发送至对方；双方通过增强现实眼镜能够实时读取对方的数据；当学生选择事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。进一步，所述数字图像处理模块识别学生在纸上书写的内容变化量具体过程为：S201、定时截图；S202、图像预处理；S203、计算相邻两张截图的变化量，并将变化量与阈值进行比较，当变化量未超过阈值时，则返回步骤S201，当变化量超过阈值时，则执行步骤S204；S204、将截图关联时间戳；S205、发送至云端服务器保存。更进一步，所述图像预处理具体为：S2021、原始图像的纸张轮廓识别；具体为：用微分算子canny算法标记截图中的纸面轮廓；首先采用高斯滤波器平滑图像，去除图像噪声；然后使用sobel算子分别计算x，y方向梯度分量及梯度方向；随后对梯度值不是极大值的地方进行抑制，排除非边缘像素，仅保留了一些细线条；最后用双阈值连接图上的联通点；其中sobel算子用于边缘检测的离散差分算子，图像中的某一个像素及其邻域表示如下：其中：I为像素点f(x,y)及其3*3邻域；对于x和y两个方向分别求导，内核大小为3时：水平变换垂直变换使用下列公式计算梯度幅值和方向：梯度幅值方向角度S2022、轮廓图像二值化；S2023、霍夫变换计算轮廓倾角和位置；S2024、图像旋转和拉伸矫正。本专利技术具有的优点和积极效果是：本专利技术利用增强现实眼镜可模拟一对一或一对多的课外辅导，可实现学生在家进行远程辅导。教师可以获得学生视角，并与学生进行实时的互动，提高交互式体验；也可利用云端服务器事后查阅存储的学生视角图像，分析学生学习状态。具体为：当教师端启动播放课件或教学视频时，课件和教学视频将同步在学生端增强现实眼镜中播放。学生端具有教学视频手动录制模块，当学生对教师端同步来的教学视频有存储并回看需求时，可手动进行录制。当学生点击录制时，为录制到较为完整的教学视频，录制模块将会把视频录制起点设置成一分钟前，实现较为完整的视频录制。云端服务器提供一定容量的视频存储空间，供学生保存录制的感兴趣视频，方便查找回放。当进行实时的辅导时，学生端增强现实眼镜实时拍摄学生解题过程，并通过云端管理服务器将实时视频流传输至教师显示端，进行实时的互动；当多名学生参与辅导时，教师显示终端可同时显示多名学生的解题视频，教师可选择与学生一对一互动辅导，也可选与多名学生同时互动辅导。附图说明图1是本专利技术优选实施例的结构框图；图2是本专利技术优选实施例中前置摄像头的安装位置示意图；图3是本专利技术优选实施例中识别学生在纸上书写的内容变化量的流程图；图4是本专利技术优选实施例中图像预处理的流程图。具体实施方式为能进一步了解本专利技术的
技术实现思路
、特点及功效，兹例举本文档来自技高网...

【技术保护点】
1.一种基于增强现实眼镜的远程辅导系统；至少包括；/n用于采集教师授课情形、接收学生端数据并进行显示的教师端；/n用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；/n以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：/n所述教师端和学生端均包括增强现实眼镜；/n所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。/n

【技术特征摘要】
1.一种基于增强现实眼镜的远程辅导系统；至少包括；
用于采集教师授课情形、接收学生端数据并进行显示的教师端；
用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；
以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：
所述教师端和学生端均包括增强现实眼镜；
所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。


2.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述学生端和教师端的增强现实眼镜均搭载前置摄像头，该摄像头用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。


3.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述教师端和学生端的增强现实眼镜均搭载有语音互动的微型扬声器和麦克风。


4.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述基于增强现实眼镜的远程辅导系统包括播放课件和/或视频模块、实时辅导和/或事后辅导模块。


5.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述学生端包括教学视频手动录制模块。


6.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述基于增强现实眼镜的远程辅导系统还包括图像处理模块，当进行事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。


7.根据权利要求6所述的基于增强现实眼镜的远程辅导系统，其特征在于，云端服务器以基于时间戳的视频截图形式进行存储。


8.一种基于权利要求1所述的基于增强现实眼镜的远程辅导系统的方法，其特征在于，包括如下步骤：
S101、教师端和学生端...

【专利技术属性】
技术研发人员：林早，施健，
申请(专利权)人：宁波视科物电科技有限公司，
类型：发明
国别省市：浙江;33