基于深度神经网络的小词表机载指令语音控制装置及方法制造方法及图纸

本发明专利技术公开基于深度神经网络的小词表机载指令语音控制装置及方法，包含有，通信模块，其分别与外部录音控制设备及外部指令控制设备相互通讯；语音采集处理模块，其具有语音采集的功能，当所述录音控制设备通过所述通讯模块向所述语音采集处理模块输入录音信号，在所述录音信号持续的时间内，所述语音采集处理模块利用飞行员佩戴的麦克风对飞行员所说的指令进行采集，形成指令语音数据；以及，指令识别模块，其将来自所述语音采集处理模块的所述指令语音数据与其内置的深度神经网络模型相匹配，以得到识别结果，所述识别结果通过所述通讯模块输出至所述外部指令控制设备。本发明专利技术的有益效果在于：基于深度神经网络实现。基于深度神经网络实现。基于深度神经网络实现。

【技术实现步骤摘要】
基于深度神经网络的小词表机载指令语音控制装置及方法


[0001]本专利技术涉及基于深度神经网络的小词表机载指令语音控制装置及方法。

技术介绍

[0002]军用作战飞机座舱采用了“手不离杆”的设计，将常用的重要功能按键都集成在操纵杆上，目的就是降低飞行员操作难度，节省操控时间。但飞机座舱内按键很多，必然有大量按键分布在舱内各个地方。对于这些相对而言不方便操控的按键，如果采用语音操控的方式替代手动方式完成，可以极大的提升操控效率。
[0003]语音操控的功能在民用领域已广泛应用，但在军用作战飞机上应用时需要面对恶劣的座舱噪声环境和复杂机载通话信道，核心的语音识别模块的性能难以保障。近年来深度神经网络在语音识别领域取得突破，语音识别性能比传统基于隐马尔科夫模型的识别引擎提升明显，因此，本专利技术将描述一种针对小词表机载指令的语音控制设备，其中的语音识别模块将基于深度神经网络实现。

技术实现思路

[0004]本专利技术目的是解决现有技术中的问题，而提供一种新型的基于深度神经网络的小词表机载指令语音控制装置及方法。
[0005]为了实现这一目的，本专利技术的技术方案如下：基于深度神经网络的小词表机载指令语音控制装置，包含有，通信模块，其具有通信的功能，所述通信模块分别与外部录音控制设备及外部指令控制设备相互通讯；语音采集处理模块，其具有语音采集的功能，当所述录音控制设备通过所述通讯模块向所述语音采集处理模块输入录音信号，在所述录音信号持续的时间内，所述语音采集处理模块利用飞行员佩戴的麦克风对飞行员所说的指令进行采集，形成指令语音数据；以及，指令识别模块，其具有指令识别的功能，所述指令识别模块将来自所述语音采集处理模块的所述指令语音数据与其内置的深度神经网络模型相匹配，以得到识别结果，所述识别结果通过所述通讯模块输出至所述外部指令控制设备。
[0006]作为基于深度神经网络的小词表机载指令语音控制装置的优选方案，还包含有，数据存储模块，其具有数据存储的功能，所述数据存储模块存储装置运行时所需的资源数据，进一步地，所述资源数据包括待识别的指令列表文件、深度神经网络模型文件等，同时还可以用于存储设备运行过程中需要记录的数据内容，包括日志文本、录音数据等。
[0007]作为基于深度神经网络的小词表机载指令语音控制装置的优选方案，还包含有，电源开关模块，其用于给装置内各模块供电，并通过上电和下电完成各模块的初始化过程。
[0008]本专利技术还提供基于深度神经网络的小词表机载指令语音控制方法，包含有，步骤S1，设备接入座舱系统，打开电源开关，设备上电并完成初始化，包括设备自检，加载词表和模型、配置语音采集和语音识别算法的参数等。
[0009]步骤S2，按下录音按键并保持，说出词表中的某个指令，然后松开按键。
[0010]步骤S3，在录音按键被按下并保持的过程中，语音采集处理模块对飞行员的语音进行采集，经过滤波降噪等算法处理后，送入指令识别模块。
[0011]步骤S4，指令识别模块利用已加载的深度神经网络模型对输入的音频数据进行匹配打分，找到对应匹配得分最高的指令作为识别结果输出，由座舱系统进一步确认或执行该指令。
[0012]重复步骤S2到步骤S4，可以完成设定词表中所有指令的操控过程。
附图说明
[0013]图1为本专利技术一实施例的结构示意图。
具体实施方式
[0014]下面通过具体的实施方式连接附图对本专利技术作进一步详细说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0015]请参见图1，图中包括本专利技术描述的机载指令语音控制设备将实现针对若干条飞机控制指令的语音操控功能，即在飞行员说出某个指定的飞机控制指令后，该设备可以准确识别出这个指令的文本内容，并通过设定好的通信协议将该指令传输给飞机座舱控制系统去执行。作为一个完整的硬件设备，主要包括如下模块：1、语音采集处理模块该模块实现语音采集的功能，通过飞行员佩戴的麦克风对飞行员说出的指令语音进行信号采集并通过A/D转换形成数字信号,对采集的语音数据进行滤波降噪等处理后送入指令识别模块。飞行员每次使用语音控制功能时，需要通过一个固定的按键启动语音采集功能。通常这个按键将设计在操控杆上，以实现“手不离杆”的设计目标。飞行员按住该按键并说出想要完成操控的指令，在此期间模块将持续进行语音采集的过程，直到飞行员松开按键为止。
[0016]2、指令识别模块该模块实现指令识别的功能，将语音采集处理模块输入的语音数据与内置的深度神经网络模型进行匹配，得到识别结果并输出。该模块在设备上电启动时将完成初始化过程，主要是加载事先已训练好的深度神经网络模型。该深度神经网络模型与待识别指令词表是相关的。如果指令词表发生变化，则模型也必须重新训练，否则无法识别出发生变化后的指令。
[0017]3、数据存储模块该模块用于存储设备运行时所需的资源数据，包括待识别的指令列表文件、深度神经网络模型文件等，同时还可以用于存储设备运行过程中需要记录的数据内容，包括日志文本、录音数据等。
[0018]4、通信模块该模块完成设备与座舱系统其它设备之间的通信功能，5、电源开关模块
该模块用于给设备里的功能板卡供电，并通过电源开关控制设备的上电和下电，设备上电时将完成各功能模块的初始化过程。
[0019]机载指令语音控制设备的具体使用流程描述如下：步骤1、设备接入座舱系统，打开电源开关，设备上电并完成初始化，包括设备自检、加载词表和模型、配置语音采集和语音识别算法的参数等。
[0020]步骤2、按下录音按键并保持，说出词表中的某个指令，然后松开按键。
[0021]步骤3、在录音按键被按下并保持的过程中，语音采集处理模块对飞行员的语音进行采集，经过滤波降噪等算法处理后，送入指令识别模块。
[0022]步骤4、指令识别模块利用已加载的深度神经网络模型对输入的音频数据进行匹配打分，找到对应匹配得分最高的指令作为识别结果输出，由座舱系统进一步确认或执行该指令。
[0023]重复步骤2到步骤4，可以完成设定词表中所有指令的操控过程。
[0024]本专利技术采用深度神经网络模型对指令语音进行建模时，采取了将音频数据序列转化为频谱图并利用图片分类技术对各个指令的频谱图进行识别的思路，具体做法描述如下：1、根据事先设定的指令文本录制对应的音频文件，作为训练数据库。数据量越多越好，通常要求录音人数不少于50人，每人录制语音不少于10遍。
[0025]2、采用语音特征提取中传统的预加重、分帧、加汉明窗、傅里叶变换等操作对一段指令音频数据进行处理，得到指令语音的频谱。
[0026]3、将求得的频谱从线性频率标度转换为梅尔频率标度，并在梅尔频标上采用N个等间距的三角形滤波器，对滤波后的结果求和并取对数，得到指令语音的梅尔频标功率谱。
[0027]4、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度神经网络的小词表机载指令语音控制装置，其特征在于，包含有，通信模块，其具有通信的功能，所述通信模块分别与外部录音控制设备及外部指令控制设备相互通讯；语音采集处理模块，其具有语音采集的功能，当所述录音控制设备通过所述通讯模块向所述语音采集处理模块输入录音信号，在所述录音信号持续的时间内，所述语音采集处理模块利用飞行员佩戴的麦克风对飞行员所说的指令进行采集，形成指令语音数据；以及，指令识别模块，其具有指令识别的功能，所述指令识别模块将来自所述语音采集处理模块的所述指令语音数据与其内置的深度神经网络模型相匹配，以得到识别结果，所述识别结果通过所述通讯模块输出至所述外部指令控制设备。2.根据权利要求1所述的基于深度神经网络的小词表机载指令语音控制装置，其特征在于，还包含有，数据存储模块，其具有数据存储的功能，所述数据存储模块存储装置运行时所需的资源数据，进一步地，所述资源数据包括待识别的指令列表文件、深度神经网络模型文件等，同时还可以用于存储...

【专利技术属性】
技术研发人员：李曜，吴沛文，吴云清，
申请(专利权)人：上海航空电器有限公司，
类型：发明
国别省市：