【技术实现步骤摘要】
本专利技术属于人工智能领域，具体涉及基于神经网络的口语训练与评测方法以及系统。
技术介绍
1、目前在高校的学生大部分要进行口语测试，由于是老师进行主观性的测试，为了体现测试的公平性，通过采用语音识别各类情景对话，从而得到各个学生的测试结果。
2、但，由于各个学生的语言才能、学习方式、性格兴趣爱好等各不相同，即使众多学生在同一个室里学习，他们的学习效果也存在着明显的差异；而现有的教学方法无法实现根据各个学生的实际情况进行针对性评价，以便于学生进行针对性学习，导致高校各类语言类口语教学的效果较差，影响了最终的口语教学质量。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供了一种基于神经网络的口语训练与评测方法以及系统，以解决现有技术中的问题。
2、本专利技术其中一个实施例提供了一种基于神经网络的口语训练与评测方法，包括以下步骤：
3、基于预设虚拟场景获取待测学生的待评测数据；其中，所述待评测数据包括语音数据、手部感应数据和人脸图像；
4、根据所述预设虚拟场景对所述待评测数据进行多次预处理，得到语义分析数据和姿态情感分析数据；
5、分别将所述语义分析数据和姿态情感分析数据输入至预设的语义情感分析模型中，得到所述待测学生的评价得分；其中，所述预设的情感分析模型包括语义分析模型和情感分析模型；
6、针对所述评价得分、所述语义分析模型和所述情感分析模型的输出结果执行不同的评价策略，得到所述待测学生的评价结果。>
7、本实施例中提供的基于神经网络的口语训练与评测方法具有以下有益效果：通过根据预设虚拟场景获取待测学生的待评测数据，从而得到待测学生对预设虚拟场景中的各类情景的对话数据和状态；并根据所述预设虚拟场景对所述待评测数据进行多次预处理，得到语义分析数据和姿态情感分析数据，以便对待测学生进行精确的针对性分析；通过分别将所述语义分析数据和姿态情感分析数据输入至预设的语义情感分析模型中，得到所述待测学生的评价得分，从而实现准确结合预设虚拟场景对待测学生进行精准评价，针对所述评价得分生成所述待测学生的评价结果，从而实现根据各个学生的实际情况进行分别对各学生进行针对性评价，以便于学生进行针对性学习，提高高校各类语言类口语教学的效果，提高口语教学质量，全面提升学生口语水平，为语言学习领域带来新的技术突破。
8、在其中一个实施例中，基于所述预设虚拟场景对所述待评测数据进行多次预处理，包括：
9、结合所述预设虚拟场景分别对语音数据、手部感应数据和人脸图像进行第一次预处理；
10、结合所述预设虚拟场景、手部感应数据和人脸图像分别对经过第一次预处理后的语音数据进行第二次预处理，得到所述语义分析数据；
11、结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和人脸图像进行第二次预处理，得到所述姿态情感分析数据。
12、在其中一个实施例中，结合所述预设虚拟场景分别对语音数据、手部感应数据和面部表情图像进行第一次预处理，包括：
13、对所述语音数据进行语音情感分析和文字转换；语音情感分析包括语速、连贯性分析；
14、对所述手部感应数据进行手势与手部用力数据分析；包括手指动作分析和手部姿势分析；
15、对所述人脸图像进行面部微表情分析，包括微笑程度和眉毛动作分析。
16、在其中一个实施例中，结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和面部表情图像进行第二次预处理，包括：
17、结合所述预设虚拟场景、语音数据和人脸图像对经过第一次预处理后的手部感应数据进行分析，得到手部分析结果；
18、结合所述预设虚拟场景、语音数据和手部感应数据对经过第一次预处理后的人脸图像进行分析，得到人脸分析结果；
19、结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和人脸图像进行融合分析；
20、对融合分析的结果与所述手部分析结果和人脸分析结果进行比较，得到所述姿态情感分析数据。
21、在其中一个实施例中，结合所述预设虚拟场景、语音数据和手部感应数据对经过第一次预处理后的人脸图像进行分析，包括：
22、将第一次预处理后的人脸图像输入到人脸检测模型中；
23、使用卷积神经网络对输入的人脸图像进行特征提取；
24、使用提取得到的特征向量对分类器进行训练，以使训练后的分类器用于判断所述第一次预处理后的人脸图像是否为人脸。
25、在其中一个实施例中，使用卷积神经网络对输入的人脸图像进行特征提取，包括：
26、同时从左到右和从右到左两个方向进行卷积，提取出人脸的特征向量；
27、将双向卷积得到的所述人脸的特征向量进行聚合，得到最佳人脸特征向量。
28、在其中一个实施例中，同时从左到右和从右到左两个方向进行卷积，包括：
29、通过卷积层使用卷积操作对输入的人脸图像进行特征提取；其中，所述卷积操作通过多个卷积核在输入的人脸图像上进行滑动，并计算卷积结果；
30、通过池化层对卷积层的输出结果进行降采样；
31、通过全连接层将前一层的输出结果映射到后一层的输入，以对所述分类器进行训练。
32、在其中一个实施例中，结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和人脸图像进行融合分析，包括：
33、使用隐马尔可夫模型对第一次预处理后的手部感应数据和人脸图像进行时段检测，得到对应的特征数据和情感数据；其中，所述特征数据包括手部特征和人脸特征，所述情感数据包括面部情感结果和手部情感结果，所述时段检测包括开始时段的检测、峰值时段的检测和释放时段的检测；
34、对所述手部特征和所述人脸特征进行特征融合；
35、将特征融合的结果与面部情感结果和手部情感结果进行决策融合。
36、在其中一个实施例中，还包括：根据所述语义分析模型和所述情感分析模型的输出结果以及所述评价结果生成所述待测学生的学习路径。
37、本专利技术其中一个实施例还提供了一种基于神经网络的口语训练与评测系统，包括：
38、获取模块，用于基于预设虚拟场景获取待测学生的待评测数据；其中，所述待评测数据包括语音数据、手部感应数据和人脸图像；
39、预处理模块，用于根据所述预设虚拟场景对所述待评测数据进行多次预处理，得到语义分析数据和姿态情感分析数据；
40、分析模块，用于分别将所述语义分析数据和姿态情感分析数据输入至预设的语义情感分析模型中，得到所述待测学生的评价得分；其中，所述预设的情感分析模型包括语义分析模型和情感分析模型；
41、评价模块，用于针对所述评价得分、所述语义分析模型和所述情感分析模型的输出结果执行不同的评价策略，得到所述待测学生的评价结果。
本文档来自技高网...【技术保护点】
1.一种基于神经网络的口语训练与评测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于神经网络的口语训练与评测方法，其特征在于，基于所述预设虚拟场景对所述待评测数据进行多次预处理，包括：
3.如权利要求2所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景分别对语音数据、手部感应数据和面部表情图像进行第一次预处理，包括：
4.如权利要求2所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和面部表情图像进行第二次预处理，包括：
5.如权利要求4所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景、语音数据和手部感应数据对经过第一次预处理后的人脸图像进行分析，包括：
6.如权利要求5所述的基于神经网络的口语训练与评测方法，其特征在于，使用卷积神经网络对输入的人脸图像进行特征提取，包括：
7.如权利要求6所述的基于神经网络的口语训练与评测方法，其特征在于，同时从左到右和从右到左两个方向进行卷积，包括：
8.如权利要求4所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和人脸图像进行融合分析，包括：
9.如权利要求1-8任意一项所述的基于神经网络的口语训练与评测方法，其特征在于，还包括：根据所述语义分析模型和所述情感分析模型的输出结果以及所述评价结果生成所述待测学生的学习路径。
10.一种基于神经网络的口语训练与评测系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于神经网络的口语训练与评测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于神经网络的口语训练与评测方法，其特征在于，基于所述预设虚拟场景对所述待评测数据进行多次预处理，包括：
3.如权利要求2所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景分别对语音数据、手部感应数据和面部表情图像进行第一次预处理，包括：
4.如权利要求2所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景和语音数据对经过第一次预处理后的手部感应数据和面部表情图像进行第二次预处理，包括：
5.如权利要求4所述的基于神经网络的口语训练与评测方法，其特征在于，结合所述预设虚拟场景、语音数据和手部感应数据对经过第一次预处理后的人脸图像进行...
【专利技术属性】
技术研发人员：赵聪，赵海林，
申请(专利权)人：广东外语外贸大学南国商学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。