一种基于增强现实投影交互的远程实操教学方法与系统技术方案

本发明专利技术公开了一种基于增强现实投影交互的远程实操教学方法与系统，该发明专利技术使教师可以远程在线地观看学生的实操过程，并随时通过语音和图形交互等方式对学生进行在线指导，学生端通过投影机将实时绘制的指引信息投影至学生的实操区域，使学生可以直观地观测到增强现实的指引内容，更准确高效地理解教师的意图，大大提高远程实操教学的学习效率。本发明专利技术提出了一种新的远程实操教学的辅导方式，系统构成简单，易于搭建，师生操作直观高效，为原本难以实现的远程实操教学提供了解决方法。

【技术实现步骤摘要】
一种基于增强现实投影交互的远程实操教学方法与系统
本专利技术涉及数字教学
，尤其涉及一种基于增强现实投影交互的远程实操教学方法与系统。
技术介绍
随着数字化时代的发展和疫情管控等不确定因素的影响，远程教学方式已成为重要的教学手段之一。现有的远程教学多以电子课件、视频和直播等方式进行，基本以学生为观看者的形式进行教学。这种方式的教学目前只能通过平面显示设备观察，难以与实际操作相结合，缺乏直观性的操作辅导，难以支撑元器件众多、操作流程复杂的实操教学。而实操课程又是职业教育中不可或缺的重要教育形式，提高远程实操教学的教学能力和学习效率具有十分重要的意义。增强现实（AR）是在实际场景中无缝融合虚拟信息的一种技术，可以为实操教学提供沉浸式的教学指导。现有的基于AR/VR的实操教学基本是基于固定课程和教学流程定制的，需要花费大量精力制作模型动画、设计交互过程，很多不具备相关动画设计经验的老师根本无法制作AR/VR的数字教案，使得该类系统难以得到有效推广与应用。林早等人申请的一种基于增强现实技术的远程教学系统及教学方法（202010205746.1），采用AR眼镜模拟课堂教学，并记录学生学习情况。这类基于眼镜的AR系统对本身就佩戴眼镜的学生会造成很大不便，且可能造成眩晕等不良影响。总而言之，目前的远程教学技术因沉浸感不足未能较好地支持远程实操教学，而目前已有的增强现实教学方式一方面需要大量精力制作教案，另一方面不利于佩戴和使用，易用性不足。
技术实现思路
本专利技术的目的在提供一种基于增强现实投影交互的远程实操教学方法和系统，以解决目前远程实操教学难以提供直观、易用、便捷的教学方式的问题。为了达到上述目的，本专利技术所采用的技术方案如下：第一方面，本专利技术实施例提供一种基于增强现实投影交互的远程实操教学方法，包括如下步骤：步骤（1），在学生端的学生实操环境中架设投影机和相机，并计算投影坐标系与相机坐标系的相对位置关系，具体包括如下子步骤：步骤（1.1），根据学生实际操作的环境调整投影机和相机的位置，使投影区域和视频拍摄区域重叠并覆盖实操区域；步骤（1.2），在投影机和相机位置固定后，投影机投影预定的图像I至实操区域；步骤（1.3），通过相机采集包含投影后的图像I的场景画面，记作图像F；步骤（1.4），计算图像I和F之间的变换关系矩阵H，即得投影坐标系与相机坐标系的相对位置关系；步骤（2），通过服务器建立学生端与教师端之间的远程通信；步骤（3），远程通信建立后，通过学生端将实操区域的画面和学生的语音实时发送给教师端；步骤（4），教师端收到实操区域的画面后，对学生端相机观测到的实操环境进行显示，教师在显示的实操环境中，直接在感兴趣区域添加虚拟化的指导信息；教师端同时将教师的语音和交互指导信息实时发送给学生端；步骤（5），学生端收到教师端的虚拟化指导信息后，通过变换关系矩阵H，将指导信息的位置从相机观测画面坐标系转化至投影画面坐标系，再通过投影机投影至实操区域。进一步地，还包括：步骤（6），服务器端在完成学生端和教师端通信的同时，记录下所有在本次远程教学中传输的视频、音频、交互指引信息数据，存储至数据库，以供课程结束后的数据回放和教学评价。进一步地，还包括：步骤（7），重复步骤（3）至（6），形成远程教学过程的闭环，直至课程结束，或任意一方断开连接。第二方面，本专利技术实施例提供一种基于增强现实投影交互的远程实操教学系统，该系统用于执行第一方面所述的一种基于增强现实投影交互的远程实操教学方法，该系统包括：教师端，所述教师端包括：用于显示学生端实操过程的显示模块、用于教师进行交互指引的交互模块、用于采集教师进行交互指引过程的第一数据采集模块、用于数据远程接收和发送的第一网络通信模块，其中所述交互模块基于所述显示模块所提供的学生端实操过程进行交互，教师直接在显示的实操画面中进行交互，在教师指定的任意位置提供交互指引信息；学生端，所述学生端包括：用于采集学生实操过程的第二数据采集模块、用于将教师的交互指引信息以增强现实的方式投影在实操环境中的投影显示模块、用于数据远程接收和发送的第二网络通信模块，用于计算投影坐标系与相机坐标系的相对位置关系的处理模块；其中所述处理模块使教师的指引信息能准确投影至教师交互时所指定的位置，形成虚拟信息和实操环境的融合；服务器端，所述服务器端包括：用于实现第一网络通信模块和第二网络通信模块之间远程连接和数据传输的服务器、用于存储通信数据的数据库。进一步地，所述第一数据采集模块至少包括音频采集和交互采集，采集教师的实时语音和交互指引信息，通过第一网络通信模块发送。进一步地，所述第二数据采集模块至少包括音频采集和视频采集，采集学生的实时语音和实际操作区域的监控视频，通过第二网络通信模块发送。根据以上技术方案，本专利技术的有益效果是，本专利技术使教师可以在学生的实操区域中直观地给出远程指引信息，既避免了复杂的多媒体教案设计，使教师可以快速掌握使用方法并开展教学，也为学生提供了直观、便捷又相对廉价的投影式增强现实实操教学体验，使学生在快速理解教师指引的同时，免去了使用智能头盔等类似装置而可能带来的视域狭窄、眩晕、眼镜重叠等等问题。本专利技术简洁、易用、直观，为远程实操教学提供了一种新的解决方案。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本实施例提供的一种基于增强现实投影交互的远程实操教学系统的结构示意图；图2为本实施例提供的一种基于增强现实投影交互的远程实操教学方法的流程图；图3为本实施例中学生端多个区域之间的空间关系示意图。图4为本实施例中学生端实际观测到的投影教学方式示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例1：参考图1，本实施例提供一种基于增强现实投影交互的远程实操教学系统，该系统包括：教师端001，包括：用于显示学生端实操过程的显示模块、用于教师进行交互指引的交互模块、用于采集教师进行交互指引过程的第一数据采集模块、用于数据远程接收和发送的第一网络通信模块，其中所述交互模块基于所述显示模块所提供的学生端实操过程进行交互，教师直接在显示的实操画面中进行交互，在教师指定的任意位置提供交互指引信息；具体地，教师端由一台笔记本电脑构成，其显示屏为显示模块，键盘、鼠标、触摸板为交互模块，记录教师人机交互操作和教学语音的电脑程序和声卡为第一数据采集模块，无线网卡为第一网络通信模块本文档来自技高网...

【技术保护点】
1.一种基于增强现实投影交互的远程实操教学方法，其特征在于，包括如下步骤：/n步骤（1），在学生端的学生实操环境中架设投影机和相机，并计算投影坐标系与相机坐标系的相对位置关系，具体包括如下子步骤：/n步骤（1.1），根据学生实际操作的环境调整投影机和相机的位置，使投影区域和视频拍摄区域重叠并覆盖实操区域；/n步骤（1.2），在投影机和相机位置固定后，投影机投影预定的图像I至实操区域；/n步骤（1.3），通过相机采集包含投影后的图像I的场景画面，记作图像F；/n步骤（1.4），计算图像I和F之间的变换关系矩阵H，即得投影坐标系与相机坐标系的相对位置关系；/n步骤（2），通过服务器建立学生端与教师端之间的远程通信；/n步骤（3），远程通信建立后，通过学生端将实操区域的画面和学生的语音实时发送给教师端；/n步骤（4），教师端收到实操区域的画面后，对学生端相机观测到的实操环境进行显示，教师在显示的实操环境中，直接在感兴趣区域添加虚拟化的指导信息；教师端同时将教师的语音和交互指导信息实时发送给学生端；/n步骤（5），学生端收到教师端的虚拟化指导信息后，通过变换关系矩阵H，将指导信息的位置从相机观测画面坐标系转化至投影画面坐标系，再通过投影机投影至实操区域。/n...

【技术特征摘要】
1.一种基于增强现实投影交互的远程实操教学方法，其特征在于，包括如下步骤：
步骤（1），在学生端的学生实操环境中架设投影机和相机，并计算投影坐标系与相机坐标系的相对位置关系，具体包括如下子步骤：
步骤（1.1），根据学生实际操作的环境调整投影机和相机的位置，使投影区域和视频拍摄区域重叠并覆盖实操区域；
步骤（1.2），在投影机和相机位置固定后，投影机投影预定的图像I至实操区域；
步骤（1.3），通过相机采集包含投影后的图像I的场景画面，记作图像F；
步骤（1.4），计算图像I和F之间的变换关系矩阵H，即得投影坐标系与相机坐标系的相对位置关系；
步骤（2），通过服务器建立学生端与教师端之间的远程通信；
步骤（3），远程通信建立后，通过学生端将实操区域的画面和学生的语音实时发送给教师端；
步骤（4），教师端收到实操区域的画面后，对学生端相机观测到的实操环境进行显示，教师在显示的实操环境中，直接在感兴趣区域添加虚拟化的指导信息；教师端同时将教师的语音和交互指导信息实时发送给学生端；
步骤（5），学生端收到教师端的虚拟化指导信息后，通过变换关系矩阵H，将指导信息的位置从相机观测画面坐标系转化至投影画面坐标系，再通过投影机投影至实操区域。


2.根据权利要求1所述的一种基于增强现实投影交互的远程实操教学方法，其特征在于，还包括：
步骤（6），服务器端在完成学生端和教师端通信的同时，记录下所有在本次远程教学中传输的视频、音频、交互指引信息数据，存储至数据库，以供课程结束后的数据回放和教学评价。


3.根据权利要求2所述的一种基于增强现实投影交互的远程实操教学方法，其特征在于，还包括：
步骤...

【专利技术属性】
技术研发人员：查娟，
申请(专利权)人：浙江机电职业技术学院，
类型：发明
国别省市：浙江;33