【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于生物传感和多模反馈的口才训练方法及系统。
技术介绍
1、口才能力是个人能力的一个重要体现，为用户提供科学、准确和便捷的口才训练逐渐成为一个重要方向。
2、现有的口才训练技术，缺乏深度学习算法和个性化算法的支持，无法为用户的口才表现提供准确分析和个性化反馈，从而导致口才训练效果不理想。同时，现有技术往往局限于传统的口才训练环境，如基于纸质材料或简单的软件应用，从而无法提供丰富和真实的训练体验，限制了口才训练效果的提升。
技术实现思路
1、本专利技术提供一种基于生物传感和多模反馈的口才训练方法及系统，为用户提供科学性、综合性、准确性的口才评估结果和丰富真实的口才训练环境，从而提高口才训练效果。
2、为了解决上述技术问题，本专利技术提供了一种基于生物传感和多模反馈的口才训练方法，包括：
3、获取用户生理数据、用户语音数据和用户视频数据；
4、通过预设的集成处理器对用户语音数据进行分析，获得第一评估结果；其中，所述第一评估结果包括流畅度评估结果、逻辑性评估结果、情感多样性评估结果和声音特征评估结果；
5、将用户语音数据输入至预设的多层网络中，输出声音频谱特征、时间序列特征和语义关系特征，使用多层感知机融合声音频谱特征、时间序列特征和语义关系特征，获得第二评估结果；其中，所述预设的多层网络包括高级卷积神经网络、双向长短期记忆网络和图卷积神经网络；
6、将用户生理数据、用户语音数据和用
7、结合第一评估结果、第二评估结果和第三评估结果，生成个性化口才建议；
8、根据所述个性化口才建议，使用虚拟现实技术指导用户进行口才训练。
9、本专利技术实时采集用户生理数据、用户语音数据和用户视频数据，为口才训练提供科学全面的动态数据支撑；使用预设的集成处理器对数据进行初步分析，以快速筛选和提取关键语音信息；使用预设的多层网络对数据进行更复杂深入的数据分析和特征提取，以获得针对多个演讲维度的评估结果；使用预设的神经网络对数据进行关于口才演讲视觉、演讲听觉和演讲内容的特征提取，并对多类特征进行融合，以获得更深层次的评估结果；根据多个评估结果生成个性化口才建议，从而为用户提供科学性、综合性、准确性的口才评估结果和个性化的反馈建议，提高口才训练效果；基于虚拟现实技术向用户提供训练环境，从而丰富了口才训练环境，提高口才训练效果。
10、进一步的，所述获取用户生理数据、用户语音数据和用户视频数据，包括：
11、通过生物传感器采集用户生理数据；其中，所述用户生理数据包括用户视觉信息、用户面部表情信息、用户皮肤电阻信息和用户心率信息；
12、使用阵列麦克风技术采集用户语音数据；
13、使用视频采集技术采集用户视频数据。
14、进一步的，所述通过生物传感器采集用户生理数据，包括：
15、通过眼动追踪传感器采集用户视觉信息；
16、通过面部肌电图传感器采集用户面部表情信息；
17、通过皮肤电导仪采集用户皮肤电阻信息；
18、通过心率检测器采集用户心率信息。
19、本专利技术通过多种生物传感器采集用户生理数据，并结合用户语音数据和用户视频数据，为口才训练提供了科学全面的数据支撑，从而提高了口才训练的准确性，有利于提供个性化的训练反馈分析。
20、进一步的，所述通过预设的集成处理器对用户生理数据和用户语音数据进行分析，获得第一评估结果，包括：
21、使用无线传输的方式将用户生理数据和用户语音数据传输至预设的集成处理器中；
22、通过预设的集成处理器对用户生理数据和用户语音数据进行分析，获得流畅度评估结果、逻辑性评估结果、情感多样性评估结果和声音特征评估结果；
23、根据流畅度评估结果、逻辑性评估结果、情感多样性评估结果、声音特征评估结果和多个评估结果的权重，获得第一评估结果。
24、进一步的，所述通过预设的集成处理器对用户语音数据进行分析，获得流畅度评估结果、逻辑性评估结果、情感多样性评估结果和声音特征评估结果，包括：
25、通过预设的集成处理器分析用户语音数据的持续时间和单词数量，获得流畅度评估结果；其中，所述流畅度评估结果，具体如下：
26、
27、式中，fl表示流畅度评估结果；ts表示用户语音数据的持续时间，wi表示用户语音数据中第i句话的单词数量，ti表示用户语音数据中第i句话的持续时间，n表示用户语音数据的话语段落数量；
28、通过预设的集成处理器分析用户语音数据的逻辑连贯性和逻辑相关性，获得逻辑性评估结果；其中，所述逻辑性评估结果，具体如下：
29、
30、式中，lc表示逻辑性评估结果；ns表示用户语音数据中的句子数量，pj表示用户语音数据中第j句话与上下文的逻辑相关性概率；
31、通过预设的集成处理器分析用户语音数据的情感状态类型和情感状态出现概率，获得情感多样性评估结果；其中，所述情感多样性评估结果，具体如下：
32、
33、式中，ed表示情感多样性评估结果；m表示情感状态的种类数，qk表示第k种情感状态出现的概率；
34、通过预设的集成处理器分析用户语音数据的声音振幅和声音频率，获得声音特征评估结果；其中，所述声音特征评估结果，具体如下：
35、vf＝α·rms(at)+β·var(ft)
36、式中，vf表示声音特征评估结果；rms(at)表示时间序列t内的声音振幅的均方根值，α表示rms(at)的权重系数，var(ft)表示时间序列t内的声音频率的方差，β表示var(ft)的权重系数。
37、进一步的，所述根据流畅度评估结果、逻辑性评估结果、情感多样性评估结果、声音特征评估结果和多个评估结果的权重，获得第一评估结果，包括：
38、根据流畅度评估结果、逻辑性评估结果、情感多样性评估结果、声音特征评估结果和多个评估结果的权重，获得第一评估结果；其中，所述第一评估结果，具体如下：
39、pf＝ω1·fl+ω2·lc+ω3·ed+ω4·vf
40、式中，pf表示第一评估结果；fl表示流畅度评估结果，ω1表示流畅度评估结果的权重系数；lc表示逻辑性评估结果，ω2表示逻辑性评估结果的权重系数；ed表示情感多样性评估结果，ω3表示情感多样性评估结果的权重系数；vf表示声音特征评估结果，ω4表示声音特征评估结果的权重系数。
41、本专利技术利用嵌入式系统集成多种处理器，使用集成处理器对数据进行初步分析，以快速筛选和提取关键语音信息，完成关于用户演讲表本文档来自技高网...
【技术保护点】
1.一种基于生物传感和多模反馈的口才训练方法，其特征在于，包括：
2.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述获取用户生理数据、用户语音数据和用户视频数据，包括：
3.如权利要求2所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过生物传感器采集用户生理数据，包括：
4.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过预设的集成处理器对用户生理数据和用户语音数据进行分析，获得第一评估结果，包括：
5.如权利要求4所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过预设的集成处理器对用户语音数据进行分析，获得流畅度评估结果、逻辑性评估结果、情感多样性评估结果和声音特征评估结果，包括：
6.如权利要求4所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述根据流畅度评估结果、逻辑性评估结果、情感多样性评估结果、声音特征评估结果和多个评估结果的权重，获得第一评估结果，包括：
7.如权利要求1所述的一种基于生
8.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据输入至高级卷积神经网络中，输出声音频谱特征，包括：
9.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述对用户语音数据进行时间序列化处理，获得语音的时间序列数据，并将所述语音的时间序列数据输入至双向长短期记忆网络中，输出时间序列特征，包括：
10.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据转换为语音的图结构数据，并将所述语音的图结构数据输入至图卷积神经网络中，输出语义关系特征，包括：
11.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将声音频谱特征、时间序列特征和语义关系特征输入至多层感知机中进行特征融合和特征分类，输出综合特征集和第二评估结果，包括：
12.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户生理数据、用户语音数据和用户视频数据输入至预设的神经网络中，输出语音特征、视觉特征和文本特征，并使用多模态深度融合网络融合语音特征、视觉特征和文本特征，获得第三评估结果，包括：
13.如权利要求12所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户生理数据和用户视频数据输入至改进卷积神经网络中进行特征提取，获得视觉特征，包括：
14.如权利要求12所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据输入至多层长短期记忆网络中进行特征提取，获得语音特征和文本特征，包括：
15.如权利要求12所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述使用多模态深度融合网络融合语音特征、视觉特征和文本特征，获得第三评估结果，包括：
16.如权利要求15所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述使用多模态特征转换层对语音特征、视觉特征和文本特征进行特征转换，获得第一特征，包括：
17.如权利要求15所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述基于动态注意力机制，使用注意力调节层计算语音特征、视觉特征和文本特征的注意力权重，并根据所述注意力权重对所述第一特征进行加权特征融合，获得第二特征，包括：
18.如权利要求15所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述使用多模态深度融合层对所述第二特征进行深度融合，获得第三特征，包括：
19.如权利要求15所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述使用口才维度分析层对所述第三特征进行特征分析，获得第三评估结果，包括：
20.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述根据所述个性化口才建议，使用虚拟现实技术指导用户进行口才训练，包括：
21.一种基于生物传感和多模反馈的口才训练系统，其特征在于，包括：数据获取模块、第一评估模块、第二评估模块、第三评估模块、综合评估模块和训练指导模块；
...【技术特征摘要】
1.一种基于生物传感和多模反馈的口才训练方法，其特征在于，包括：
2.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述获取用户生理数据、用户语音数据和用户视频数据，包括：
3.如权利要求2所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过生物传感器采集用户生理数据，包括：
4.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过预设的集成处理器对用户生理数据和用户语音数据进行分析，获得第一评估结果，包括：
5.如权利要求4所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述通过预设的集成处理器对用户语音数据进行分析，获得流畅度评估结果、逻辑性评估结果、情感多样性评估结果和声音特征评估结果，包括：
6.如权利要求4所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述根据流畅度评估结果、逻辑性评估结果、情感多样性评估结果、声音特征评估结果和多个评估结果的权重，获得第一评估结果，包括：
7.如权利要求1所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据输入至预设的多层网络中，输出声音频谱特征、时间序列特征和语义关系特征，使用多层感知机融合声音频谱特征、时间序列特征和语义关系特征，获得第二评估结果，包括：
8.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据输入至高级卷积神经网络中，输出声音频谱特征，包括：
9.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述对用户语音数据进行时间序列化处理，获得语音的时间序列数据，并将所述语音的时间序列数据输入至双向长短期记忆网络中，输出时间序列特征，包括：
10.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将用户语音数据转换为语音的图结构数据，并将所述语音的图结构数据输入至图卷积神经网络中，输出语义关系特征，包括：
11.如权利要求7所述的一种基于生物传感和多模反馈的口才训练方法，其特征在于，所述将声音频谱特征、时间序列特征和语义关系特征输入至多层感知机中进行特征融...
【专利技术属性】
技术研发人员：李翔，詹歆，
申请(专利权)人：新励成教育科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。