基于增强现实和机器视觉的实验教学系统技术方案

本发明专利技术涉及一种基于增强现实和机器视觉的实验教学系统，以微软Hololens2眼镜为硬件基础，包括开发端、客户端、服务器端三部分，具体为虚拟实验器材库、三维注册模块、材质渲染模块、智能指导模块、信息传输模块、目标识别模块和人机交互模块，本发明专利技术可用于中学实验的智能教学。具体分析不同实验的特点，对实验器材进行建模，以深度学习算法为基础，结合机器视觉算法识别出实验器材，对实验过程进行实时监测和分析，对学生的实验操作进行实时反馈和指导，本发明专利技术解决了现有虚拟实验沉浸感差、无法提供实验智能指导问题，并且可扩展为多人协同实验。实验。实验。

【技术实现步骤摘要】
基于增强现实和机器视觉的实验教学系统


[0001]本专利技术涉及一种计算机视觉技术，特别涉及一种基于增强现实和机器视觉的实验教学系统。

技术介绍

[0002]中学真实实验面临不安全、不开放、可见性低等问题，一些有毒、高腐蚀性、易燃易爆等危险物品易造成实验室事故，同时也缺乏对实验步骤的在线指导、错误操作的预警提示；难以形成开放式、多人互动、易探究的教学模式。
[0003]随着人工智能时代的到来，智慧教育应运而出，运用增强现实显示技术打造智能教学平台在智慧教育领域应用越来越广泛。Hololens2是微软于2019年发布的一款增强现实头戴式设备，Hololens2的主要目标是为用户提供沉浸式的增强现实体验和强大的人机交互功能，这为虚拟实验提供了良好的硬件平台。
[0004]虚拟实验作为智慧教育的一类典型的突破传统时空限制的数字化教学形式，有助于帮助学生开展一些具有一定危险性的实验，对于培养新时代人才，建立智慧教育课堂具有重要意义。然而，目前的虚拟实验方法，通常是采用二维的方式在多媒体显示屏上实现虚实融合，使得用户的沉浸感较差，无法切身投入到实验中，导致虚实交互效率低，教学效果差。

技术实现思路

[0005]针对虚拟实验教学存在的问题，提出了一种基于增强现实和机器视觉的实验教学系统，增强现实技术能够将虚拟对象叠加到真实环境中，实现沉浸式的实验场景；机器视觉技术可以实时获取和分析图像信息，实现对实验过程的监控和反馈，结合增强现实和机器视觉技术实现智能实验教学。
[0006]本专利技术的技术方案为：一种基于增强现实和机器视觉的实验教学系统，包括开发端、服务器端和客户端；
[0007]所述开发端：负责实验器材的建模、增强现实的三维注册、模型材质的渲染、实验反应动画制作、实验过程的在线指导、流体仿真以及交互脚本开发，开发端开发后导入客户端；
[0008]所述服务器端：负责接收客户端传来的数据，并启动深度学习算法对接收的帧画面进行处理，得到检测对象的分类信息、类别以及实验步骤的实时评分，最后传送回客户端；
[0009]所述客户端：为Hololens2眼镜，负责信息的采集并将采集到的数据传送给服务器端进行处理，然后接收服务器端处理后的数据，同时负责环境理解、空间感知、手势以及语音识别任务；其中，服务器端和客户端通过TCP/IP协议连接，使服务器端和客户端处于同一网络中，在撰写的脚本中添加服务器端的IP地址实现连接。
[0010]一种基于增强现实和机器视觉的实验教学系统中开发端建立方法，由建模软件负
责实验器材的建模，由Unity负责实验场景的搭建，使用了微软提供的MRTK工具包来实现实验器材的交互，脚本采用C++/C#语言开发，实现实验器材的抓取、旋转、缩放交互功能；使用粒子系统及流体仿真插件来实现流体以及火焰的仿真，使用贴图、灯光、材质方式来对实验器材进行渲染；根据实验步骤特点制作实验反应动画；对于实验操作的在线指导，采用MRTK提供的凝视脚本及3D Text显示实验指引文本，结合机器视觉技术，实现实验操作的在线指导以及错误预警。
[0011]进一步，所述实验器材的建模首先分析实验步骤和实验特征，确定需要虚拟化的实验器材，虚拟化的实验器材包括具有危险性的实验用品，然后使用建模软件对实验所需器材建模。
[0012]一种基于增强现实和机器视觉的实验教学系统中服务器端建立方法，搭建好虚拟环境和深度学习框架，然后使用自己构建好的数据集训练深度学习模型，最后将训练好得到的模型转换为ONNX中间格式，在Unity中创建Hololens2应用程序，将ONNX模型导入应用程序中，开发脚本调用ONNX模型来进行目标识别，之后将应用程序部署到客户端，通过TCP/IP协议与服务器连接；系统运行时服务器负责信息帧画面的接收，图像识别分类、数据信息传达工作。
[0013]进一步，所述训练深度学习模型之前，将拍摄到的数据集采用数据增强的方法，即对数据集图片进行平移、翻转、随机裁剪、噪声扰动和尺度变换，来使得实时监测过程中精度更高，更适应光照遮挡环境变化，具体使用imgaug来实现，然后放在深度学习网络中进行训练；模型训练过程中采用K
‑
means算法对数据集重新聚类锚框尺寸，对于anchor进行了改进，激活函数设置为：leaky Relu，损失采用交叉熵损失，并且加上必要的参数，学习率调整采用epoch
‑
decay策略，随迭代周期下降；所述实验检测过程，针对数据集尺度变化范围较大，对模型的检测输出层增加一个小尺度特征检测通道。
[0014]进一步，所述深度学习框架中机器视觉方面以Yolov5模型为基础，针对实验过程的小目标实验器材检测，使用Transformer encoder块替换了Yolov5中的一些卷积块和CSP bottleneck blocks；每个Transformer encoder block包含两个子层，第1子层为mult
‑
head attention layer，第2子层为全连接层，每个子层之间使用残差连接。
[0015]一种基于增强现实和机器视觉的实验教学系统中客户端实验教学方法，使用开发端中的增强现实技术将虚拟实验器材注册到真实实验环境中，使用服务器端的机器视觉技术实时对Hololens2捕捉的画面进行处理，客户端根据当前画面智能判断出当前实验类别和实验步骤，给出当前实验步骤的指导提示，当前步骤操作正确的时候，通过开发端部署到客户端上的实验反应动画模块以及三维注册模块给出当前步骤应有的实验反应，如果当前步骤操作错误，再次给出当前步骤的操作指导，并给出错误反馈；所有步骤结束后，给出本次实验的综合评分和失分原因。
[0016]本专利技术的有益效果在于：本专利技术基于增强现实和机器视觉的实验教学系统，能够通过Hololens2将虚拟的实验器材三维立体的呈现在眼前，并且可以实现对虚拟实验器材的交互，从而模拟中学实验操作过程，在实验过程中，可以实现实验步骤的实时评分、实验步骤的在线指导、错误操作的预警提示，进而减少人工评判的影响，能够提高评判的客观性以及公平性，减少了人力资源的浪费，保证了实验的安全性，对于构建智慧型实验室、保障实验安全、强化实验类学科的动手实践能力，具有重要意义。
附图说明
[0017]图1为本专利技术实施例一基于增强现实和机器视觉的实验教学系统架构图；
[0018]图2为本专利技术实施例二基于增强现实和机器视觉的实验教学系统软硬件结构图；
[0019]图3为本专利技术实施例三基于增强现实和机器视觉的实验教学系统流程图；
[0020]图4为本专利技术实施例四基于增强现实和机器视觉的实验教学系统的实验智能指导流程图；
[0021]图5为本专利技术系统的实验评分展示图；
[0022]图6为本专利技术系统的实验实例展示图。
具体实施方式
[0023]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实和机器视觉的实验教学系统，其特征在于，包括开发端、服务器端和客户端；所述开发端：负责实验器材的建模、增强现实的三维注册、模型材质的渲染、实验反应动画制作、实验过程的在线指导、流体仿真以及交互脚本开发，开发端开发后导入客户端；所述服务器端：负责接收客户端传来的数据，并启动深度学习算法对接收的帧画面进行处理，得到检测对象的分类信息、类别以及实验步骤的实时评分，最后传送回客户端；所述客户端：为Hololens2眼镜，负责信息的采集并将采集到的数据传送给服务器端进行处理，然后接收服务器端处理后的数据，同时负责环境理解、空间感知、手势以及语音识别任务；其中，服务器端和客户端通过TCP/IP协议连接，使服务器端和客户端处于同一网络中，在撰写的脚本中添加服务器端的IP地址实现连接。2.一种基于增强现实和机器视觉的实验教学系统中开发端建立方法，其特征在于，由建模软件负责实验器材的建模，由Unity负责实验场景的搭建，使用了微软提供的MRTK工具包来实现实验器材的交互，脚本采用C++/C#语言开发，实现实验器材的抓取、旋转、缩放交互功能；使用粒子系统及流体仿真插件来实现流体以及火焰的仿真，使用贴图、灯光、材质方式来对实验器材进行渲染；根据实验步骤特点制作实验反应动画；对于实验操作的在线指导，采用MRTK提供的凝视脚本及3D Text显示实验指引文本，结合机器视觉技术，实现实验操作的在线指导以及错误预警。3.根据权利要求2所述基于增强现实和机器视觉的实验教学系统中开发端建立方法，其特征在于，所述实验器材的建模首先分析实验步骤和实验特征，确定需要虚拟化的实验器材，虚拟化的实验器材包括具有危险性的实验用品，然后使用建模软件对实验所需器材建模。4.一种基于增强现实和机器视觉的实验教学系统中服务器端建立方法，其特征在于，搭建好虚拟环境和深度学习框架，然后使用自己构建好的数据集训练深度学习模型，最后将训练好得到的模型转换为ONNX中间格式，在Unity中创建Hololens2应用程序，将ONNX模型导入应用程序中，开发脚本调用ONNX模型来进行目标识别，之后将应用程序部署到客户端，通过TCP/IP协...

【专利技术属性】
技术研发人员：徐子琪，张朋，张洁，丁鹏飞，孙可芯，
申请(专利权)人：东华大学，
类型：发明
国别省市：