一种基于虚拟现实的交互式训练系统及方法技术方案

本发明专利技术公开了一种基于虚拟现实的交互式训练系统及方法，所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景，通过人机交互的方式对用户进行训练，每次训练均生成相应的音频文件。本发明专利技术通过交互的方式对用户的创新素质进行训练，采用虚拟现实技术使得训练场景更加贴合实际情况，同时考虑到距离及角度因素对用户及虚拟人物所听内容的影响，进而使得训练过程更加真实；同时在训练的过程中直接过用户的创新素质进行测评，并根据测评结果推荐相应的测评案例，针对用户创新素质的薄弱点进行强化，相较于传统的纸质或者电子版调查问卷对用户创新素质进行测评，本发明专利技术的测评效果更加精准。评效果更加精准。评效果更加精准。

【技术实现步骤摘要】
一种基于虚拟现实的交互式训练系统及方法


[0001]本专利技术涉及人机交互训练
，具体为一种基于虚拟现实的交互式训练系统及方法。

技术介绍

[0002]美国近百所顶尖私立高中成立的能力素养成绩单联盟(MTC)推出一种动态电子档案——“新模式”作为高中生评价新体系。其包括8项能力和61项子能力，通过持续追踪、记录学生的学习动态，全面评估学生能力。英国十分重视培养学生的创新素质和创造思维能力，在高校采用“基于项目的学习”培养模式，通过引导学生在实际项目中探究和解决复杂问题，培养学生的创新能力。
[0003]当前我国对学生的创新素质培养也越来越重视，注重学生德、智、体、美、劳全面发展，但是现阶段对学生的创新素质测评方式及训练方式上存在较大的缺陷；当前的测评方式只是通过简单的纸质或者电子版的调查问卷实现对学生创新素质的测评，方式比较单一，且测评结果比较片面，无法根据学生的实际表现(实践)实现对用户的测评，使得测评结果不精准，进而采用的训练方式无法精准锁定学生自身创新素质的薄弱点，使得训练效果不理想。
[0004]针对上述情况，我们需要一种基于虚拟现实的交互式训练系统及方法。

技术实现思路

[0005]本专利技术的目的在于提供一种基于虚拟现实的交互式训练系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于虚拟现实的交互式训练系统，包括：
[0007]测评案例库模块，所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景；
[0008]交互式训练模块，所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景，通过人机交互的方式对用户进行训练，每次训练均生成相应的音频文件；
[0009]测评分析模块，所述测评分析模块对用户训练生成的音频文件进行分析，得到用户创新素质的测评结果；
[0010]强化推荐模块，所述强化推荐模块根据用户创新素质的测评结果，锁定用户创新素质中的薄弱点，并针对用户创新素质中的薄弱点情况，推荐相应的测评案例对用户进行训练；
[0011]训练效果比对模块，所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图，并将每个测评结果与折线变化图中的相应节点进行绑定。
[0012]本专利技术通过采用虚拟现实技术，将对用户创新素质的训练过程场景化，通过一个场景实现对用户创新素质的全面的训练及测评，并根据测评案例中虚拟场景对应的创新素
质中各类别内容的偏重值，突出对用户创新素质薄弱点的强化训练，并采用折线变化图的方式，实现对用户训练效果的对比，并在此基础上，能够进一步的调整推荐的训练方案。
[0013]进一步的，所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模，并在VR设备中呈现的；
[0014]在3D建模过程中，会在虚拟场景中会分别标注出东、西、南、北四个方位，并以过虚拟场景中心点且从东至西的方向为x轴正方向，以过虚拟场景中心点且从南至北的方向为y轴正方向，以过虚拟场景中心点且从下至上的方向为z轴正方向，建立虚拟场景中的标准空间直角坐标系；
[0015]每个测评案例对应的是一个模拟的故事场景，每个故事场景中会包含一个虚拟人物，需要用户针对故事场景中虚拟人物提出的问题进行解答，测评案例考察用户的创新素质，所述创新素质包含分类比较能力、计算能力、记忆力及注意力，不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。
[0016]本专利技术测评案例库模块在虚拟场景中会分别标注出东、西、南、北四个方位，是为了便于后续在虚拟场景中建立标准空间之间坐标系；在故事场景中设置一个虚拟人物，是为了通过对话的方式实现人机交互，进而使得模拟的场景更加贴近真实情况，进而通过模拟实践的方式实现对用户创新素质的训练及测评；创新素质是一个比较笼统的概念，是从多方面对用户进行测评的(包含分类比较能力、计算能力、记忆力及注意力)；将测评案例中设置不同的偏重值是为了针对用户创新素质的薄弱点进行相应的训练，相应的，用户创新素质中某类能力越薄弱，则测评案例中该类别对应的偏重值越大。
[0017]进一步的，所述强化推荐模块获得用户创新素质的测评结果后，分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点，
[0018]若用户创新素质的测评结果中，分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4，则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为
[0019]每类对应的偏重值表示测评案例中该类对应提问内容数量占提问内容总数量的比值。
[0020]本专利技术设置分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值的标准是，每个类别对应的测评结果越小，其相应的类别在推荐的测评案例中所占的偏重值越大，同时各类别偏重值之和确保为1。
[0021]进一步的，所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果，分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图，每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。
[0022]进一步的，所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时，以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点，以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点，
[0023]将从用户点至参照点构成的向量记为标准向量，所述标准向量时可变的，标准向量随用户点及参照点的变化而变化。
[0024]本专利技术交互式训练模块获取标准向量，是为了获取用户距离虚拟人物的距离，并为后续获取训练过程中用户面部朝向的方向与标准向量的夹角记为β，进而为后续训练过程中产生的音频文件进行分析、调整，使得训练过程中模拟的场景更加真实且贴合实际情况。
[0025]进一步的，所述交互式训练模块通过人机交互的方式对用户进行训练的过程中，通过耳麦获取虚拟人物的提问内容，通过第一拾音器获取用户针对提问内容的解答，
[0026]将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件，记为第一音频文件，所述第一音频文件只包含用户的声音，
[0027]将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件，记为第二音频文件，所述第二音频文件只包含虚拟人物的提问内容；
[0028]所述交互式训练模块还获取训练过程中标准向量随时间变化的结果，将训练过程中时间t对应的标准向量的模长记为L(t)；
[0029]获取训练过程中用户面部朝向的方向与标准向量的夹角记为β，并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t)。
[0030]本专利技术分别获取第一音频文件、第二音频文件、L(t)及β(t)，是为了对第一音频文件中不同时间虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实的交互式训练系统，其特征在于，包括：测评案例库模块，所述测评案例库模块用于存储交互式训练过程中需要用到的各个测评案例对应的虚拟场景；交互式训练模块，所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景，通过人机交互的方式对用户进行训练，每次训练均生成相应的音频文件；测评分析模块，所述测评分析模块对用户训练生成的音频文件进行分析，得到用户创新素质的测评结果；强化推荐模块，所述强化推荐模块根据用户创新素质的测评结果，锁定用户创新素质中的薄弱点，并针对用户创新素质中的薄弱点情况，推荐相应的测评案例对用户进行训练；训练效果比对模块，所述训练效果对比模块构建用户训练对应的测评结果随时间变化的折线变化图，并将每个测评结果与折线变化图中的相应节点进行绑定。2.根据权利要求1所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述测评案例库模块存储的每个测评案例对应的虚拟场景是通过3D建模，并在VR设备中呈现的；在3D建模过程中，会在虚拟场景中会分别标注出东、西、南、北四个方位，并以过虚拟场景中心点且从东至西的方向为x轴正方向，以过虚拟场景中心点且从南至北的方向为y轴正方向，以过虚拟场景中心点且从下至上的方向为z轴正方向，建立虚拟场景中的标准空间直角坐标系；每个测评案例对应的是一个模拟的故事场景，每个故事场景中会包含一个虚拟人物，需要用户针对故事场景中虚拟人物提出的问题进行解答，测评案例考察用户的创新素质，所述创新素质包含分类比较能力、计算能力、记忆力及注意力，不同测评案例考察用户创新素质中分类比较能力、计算能力、记忆力及注意力分别对应偏重值不同。3.根据权利要求2所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述强化推荐模块获得用户创新素质的测评结果后，分类比较能力、计算能力、记忆力及注意力这四类分别对应的测评结果中的最小值对应的类别为用户创新素质中的薄弱点，若用户创新素质的测评结果中，分类比较能力、计算能力、记忆力及注意力这四类对应的测评结果分别为k1、k2、k3及k4，则推荐的测评案例中分类比较能力、计算能力、记忆力及注意力分别对应偏重值的比值为每类对应的偏重值表示测评案例中该类对应提问内容数量占提问内容总数量的比值。4.根据权利要求2所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述训练效果比对模块分别获取用户每次训练时创新素质中各类别分别对应的测评结果，分别构建不同训练时间同一类别对应的测评结果随时间变化的折线变化图，每个测评结果与相应的折线变化图中的相应是时间节点进行绑定。5.根据权利要求2所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述交互式训练模块提取测评案例库模块中各个测评案例对应的虚拟场景时，以虚拟人物的头部在标准空间直角坐标系中的坐标点作为参照点，以用户头部所处位置在虚拟场景中标准空间直角坐标系中对应的坐标点为用户点，将从用户点至参照点构成的向量记为标准向量，所述标准向量时可变的，标准向量随
用户点及参照点的变化而变化。6.根据权利要求5所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述交互式训练模块通过人机交互的方式对用户进行训练的过程中，通过耳麦获取虚拟人物的提问内容，通过第一拾音器获取用户针对提问内容的解答，将第一拾音器获取的训练过程中随时间变化的人机交互过程的音频文件，记为第一音频文件，所述第一音频文件只包含用户的声音，将耳麦传递的训练过程中随时间变化的人机交互过程的音频文件，记为第二音频文件，所述第二音频文件只包含虚拟人物的提问内容；所述交互式训练模块还获取训练过程中标准向量随时间变化的结果，将训练过程中时间t对应的标准向量的模长记为L(t)；获取训练过程中用户面部朝向的方向与标准向量的夹角记为β，并将训练过程中时间t对应的用户面部朝向的方向与标准向量的夹角记为β(t)。7.根据权利要求6所述的一种基于虚拟现实的交互式训练系统，其特征在于：所述测评分析模块对用户训练生成的音频文件进行分析的过程中，会根据第一音频文件、第二音频文件及相应的L(t)、β(t)，对人机交互过程中的声音强度随时间的变化情况进行模拟还原，预估出对方能够听到的音频内容，并识别出相应的文本内容，进而根据识别的文本内容得到用户创新素质的测评结果，用户能够听到的音频内容不需要进行预估，为第二音频文件对应的内容，即第二音频文件为预估处理过的音频文件，将第二音频文件对应的未经处理的音频文件记为第三音频文件；测评分析模块预估虚拟人物能够听到的音频内容的方法包括以下步骤：S1.1、获取第一音频文件中时间t为不同值时对应的声音强度...

【专利技术属性】
技术研发人员：余意，易建强，
申请(专利权)人：江苏中科小达人智能科技有限公司，
类型：发明
国别省市：