一种朗读数据的处理系统及方法技术方案

本发明专利技术公开了一种朗读数据的处理系统及方法，涉及信息数据管理技术领域，具体为一种朗读数据的处理系统及方法，包括音频流处理、文本流处理、数据差异分析、权重双流判断、分发处理；所述音频流处理；朗读音频经过系统DSP解码，将时域信号转换为频域信号进行分析；所述文本流处理：根据预存储的音频字典，由这四个部分完成的特征提取、声学模型、语言模型和字典。该朗读数据的处理系统及方法，通过对朗读内容进行原音频、音频文本比较分析，在经过权重判断，最终得出朗读数据，然后分发处理至老师和学生端，学生根据数据可对当前朗读内容的反馈能进行发音和认识的纠正，以及朗读节奏与表达方式。表达方式。表达方式。

【技术实现步骤摘要】
一种朗读数据的处理系统及方法


[0001]本专利技术涉及信息数据管理
，具体为一种朗读数据的处理系统及方法。

技术介绍

[0002]随着计算机互联网技术的发展，智能终端设备已经进入了课堂。如在朗读课堂通过朗读平板进行朗读训练，朗读教室主要分为教学区、学习区以及展示区，教学区硬件包括小舞台、教学大屏、麦克风，以小舞台、教学大屏等智能设备，辅助语文、英语教学和测评或特色课程等。学习区硬件包括朗读平板、耳麦，终端互联打造智能课堂，实现听说读、Al测评、趣味配音、名家示范等教学功能，还有特色实时耳返和降噪技术，给学生及时的声音反馈，让朗读声临其境。展示区硬件包括班级留声墙，多媒体互动展示功能墙，可由老师选择优秀作品上墙，展示学生朗读教学成果，包括作品榜、朗读领航榜。
[0003]目前朗读教室的训练方式通常是，学生通过朗读平板对朗读音频进行录音，并发送至老师进行审阅，老师根据学生录制的音频对学生情况进行判断，并对学生提出针对性修改意见，达到对学生语言能力、普通话正确、流利程度训练的目的，但是由于学生众多，老师逐个对学生朗读音频进行审阅，工作量较大，且通过老师对学生朗读情况进行判断，存在一定的误差率，为此我们提出一种朗读数据的处理系统及方法以解决上述提出的问题。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种朗读数据的处理系统及方法，包括：音频流处理、文本流处理、数据差异分析、权重双流判断和分发处理。在朗读教室、任何网络状态下中，学生群体通过平板朗读，通过该专利技术的装置对朗读内容进行原音频、音频文本比较分析，在经过权重判断，最终得出朗读数据，然后分发处理至老师和学生端。学生根据数据可对当前朗读内容的反馈能进行发音和认识的纠正，以及朗读节奏与表达方式，老师可根据数据快速查阅全班学生的朗读情况，提高老师上课的效率和简易性，极大地提升教学效率，解决了上述
技术介绍
中提出的问题。
[0005]为实现以上目的，本专利技术通过以下技术方案予以实现：一种朗读数据的处理系统及方法，包括音频流处理、文本流处理、数据差异分析、权重双流判断、分发处理；
[0006]所述音频流处理；朗读音频经过系统DSP解码，将时域信号转换为频域信号进行分析；
[0007]所述文本流处理：根据预存储的音频字典，由这四个部分完成的特征提取、声学模型、语言模型和字典；
[0008]所述数据差异分析包括音频流结果对比、文本流结果对比；
[0009]所述权重双流判断：音频流处理的结果反应语速、语调的正确表达，文本流处理的结果反应词汇的正确率；
[0010]所述分发处理：朗读数据补充原有学生音频标签，利用UDP组播方式在局域网中进行组播传送，精准分发到各个学生平板的软件接收后展示。
[0011]优选的，所述音频流处理具体为：朗读音频经过系统DSP解码，将时域信号转换为频域信号进行分析，基于长短期记忆神经网络(LSTM)的语音特征识别模型将频谱数据输入到LSTM得到一个输出，输出向量经过softmax函数进行转换，输出情绪分类标签向量，得到正确的信号流供下一模块分析使用。
[0012]优选的，所述文本流处理具体为：根据预存储的音频字典，由这四个部分完成的特征提取、声学模型、语言模型和字典，特征提取工作：将朗读音频信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特征性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。
[0013]优选的，所述音频流结果对比：采用音频的“短时能量”来判断两个音频的相似程度，具体做法如下：
[0014]a、解码音频到wav格式：输出wav格式音频流；
[0015]b、获取音频参数和数据：每16位读取一次带符号数作为一次采样点的采样结果；
[0016]c、归一化处理原始数据：获取所有采样点最大数值max_value(绝对值最大值)，通过max_value对所有采样点数据做归一化处理。
[0017]d、对音频数据做高通滤波，过滤掉低频信号的干扰：设计高通滤波器过滤低频干扰。
[0018]e、求得该音频的短时能量分布：语音信号和噪音信号的主要区别在于他们的能量。
[0019]f、短时能量可以有效地判断信号幅度的大小，并可以用于进行有声/无声的判断。
[0020]优选的，所述文本流结果对比具体为：采用SimHash算法，将高维的特征向量映射成低维的特征向量，通过两个向量的Hamming Distance(汉明距离)来确定朗读文章和朗读文本是否存在不相似的地方和数量。
[0021]g、分词：对需要比较的文本进行分词，提取特征向量。并对特征向量，进行权重(weight)设置；
[0022]h、hash：通过hash函数计算各个特征向量的hash值。hash值为二进制数01组成的n
‑
bit签名；
[0023]i、加权：在hash值的基础上，给所有特征向量进行加权，即W＝Hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘；
[0024]j、合并：将上述各个特征向量的加权结果累加，变成只有一个序列串。
[0025]拿前两个特征向量举例；
[0026]k、降维：对于n
‑
bit签名的累加结果，如果大于0则置1，否则置0，从而得到该语句的simhash值，最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度；
[0027]l、计算：通过Simhash签名值，计算汉明距离，随后输出相似值，用作朗读发音数据的做下一个模块的输入。
[0028]优选的，所述权重双流判断具体为：音频流处理的结果反应语速、语调的正确表达，文本流处理的结果反应词汇的正确率。反应学生朗读内容的语速、语调和词汇表达是否符合AI系统内置的文章，继而判断是否正确表达、咬字清晰。
[0029]优选的，朗读数据补充原有学生音频标签，利用UDP组播方式在局域网中进行组播
传送，精准分发到各个学生平板的软件接收后展示。
[0030]本专利技术提供了一种朗读数据的处理系统及方法，具备以下有益效果：
[0031]1、该朗读数据的处理系统及方法，通过对朗读内容进行原音频、音频文本比较分析，在经过权重判断，最终得出朗读数据，然后分发处理至老师和学生端，学生根据数据可对当前朗读内容的反馈能进行发音和认识的纠正，以及朗读节奏与表达方式，老师可根据数据快速查阅全班学生的朗读情况，提高老师上课的效率和简易性，极大地提升教学效率，可直接辅助老师在语言表达上的针对性教学，使学生得到朗读反馈，间接提升学生对朗读作品的语言能力，和对普通话正确、流利的表达能力。
附图说明
[0032]图1为本专利技术人
‑
数据流示意图；
[0033]图2为本专利技术环境拓扑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种朗读数据的处理系统及方法，其特征在于：包括音频流处理、文本流处理、数据差异分析、权重双流判断、分发处理；所述音频流处理；朗读音频经过系统DSP解码，将时域信号转换为频域信号进行分析；所述文本流处理：根据预存储的音频字典，由这四个部分完成的特征提取、声学模型、语言模型和字典；所述数据差异分析包括音频流结果对比、文本流结果对比；所述权重双流判断：音频流处理的结果反应语速、语调的正确表达，文本流处理的结果反应词汇的正确率；所述分发处理：朗读数据补充原有学生音频标签，利用UDP组播方式在局域网中进行组播传送，精准分发到各个学生平板的软件接收后展示。2.根据权利要求1所述的一种朗读数据的处理系统及方法，其特征在于：所述音频流处理具体为：朗读音频经过系统DSP解码，将时域信号转换为频域信号进行分析，基于长短期记忆神经网络(LSTM)的语音特征识别模型将频谱数据输入到LSTM得到一个输出，输出向量经过softmax函数进行转换，输出情绪分类标签向量，得到正确的信号流供下一模块分析使用。3.根据权利要求1所述的一种朗读数据的处理系统及方法，其特征在于：所述文本流处理具体为：根据预存储的音频字典，由这四个部分完成的特征提取、声学模型、语言模型和字典，特征提取工作：将朗读音频信号从时域转换到频域，为声学模型提供合适的特征向量；声学模型中再根据声学特征性计算每一个特征向量在声学特征上的得分；而语言模型则根据语言学相关的理论，计算该声音信号对应可能词组序列的概率；最后根据已有的字典，对词组序列进行解码，得到最后可能的文本表示。4.根据权利要求1所述的一种朗读数据的处理系统及方法，其特征在于：所述音频流结果对比：采用音频的“短时能量”来判断两个音频的相似程度，具体做法如下：a、解码音频到wav格式：输出wav格式音频流；b、获取音频参数和数据：每16位读取一次带符号数作为一次采样点的采样结果；c、归一化处理原始数据：获取所有采样点最大数值max_value(绝对值最大值)，通过max_value对所有采样点数据做归一化处理。d、对...

【专利技术属性】
技术研发人员：李鑫源，吕全，潘祖济，周洲，
申请(专利权)人：广州优谷信息技术有限公司，
类型：发明
国别省市：