一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置制造方法及图纸

本发明专利技术公开了一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置，该方法首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；再由语言处理装置将识别出的指令词转化为人工语音；然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。上述方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题，适应于高噪音背景或无法收音的应用场景。

An assistant rescue communication method and device based on the recognition of non voice command based on facial muscle signal

【技术实现步骤摘要】
一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置
本专利技术涉及救援通讯
，尤其涉及一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置。
技术介绍
强背景噪音环境下的语音识别，比如灾害，战争等，一直是语音识别领域的重要问题之一，也是尚未完美解决的固有疑难问题之一。在强背景噪音环境下如果需要进行沟通，比如消防队员或潜水人员需要根据当前状态下达指令、进行队友之间的交流等，语音识别的性能就更为重要。在煤矿安全生产和救援工作中，救援队或侦察队是需要在恶劣极端环境下进行有效沟通的团队合作式工作。但现场的引擎声，作业声都会消弱队员之间沟通的声音，即使采用现有的数字语音通讯技术，携带麦克风进行收音，获取的语音仍然无法完全消除背景声的干扰，比如队员随身携带的呼吸设备发出的断断续续的嘶嘶声，并且罩在面部的呼吸装置会使得发出的声音扭曲失真，使说话不清晰。为了解决此类极端环境的语音识别问题，现有技术中已经有诸多的研究，比如降噪，骨传导等技术，但仍无法适用用于复杂的多变的现实环境。
技术实现思路
本专利技术的目的是提供一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置，该方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题，适应于高噪音背景或无法收音的应用场景。本专利技术的目的是通过以下技术方案实现的：一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法，所述方法包括：步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；步骤3、再由语言处理装置将识别出的指令词转化为人工语音；步骤4、然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。本专利技术还提供了一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯装置，所述装置包括采集装置、数据处理装置、语言处理装置和射频装置，其中：所述采集装置由五通道的测量电极组成，所述测量电极贴肤在使用者面部皮肤上，实时采集相应位置的肌肉电信号；所述采集装置与所述数据处理装置有线连接，所述数据处理装置接收所述采集装置传输来的肌肉电信号，并对该肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；所述语言处理装置与所述数据处理装置电连接，用于将识别出的指令词转化为人工语音；所述语言处理装置与所述射频装置有线连接，所述射频装置用于接受和发送识别结果，通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。由上述本专利技术提供的技术方案可以看出，上述方法和装置避免了传统语音识别结果受环境背景噪音干扰的固有问题，适应于高噪音背景或无法收音的应用场景。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法流程示意图；图2为本专利技术实施例所述测量电极的贴肤位置示意图；图3为本专利技术实施例所述装置的结构示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。下面将结合附图对本专利技术实施例作进一步地详细描述，如图1所示为本专利技术实施例提供的基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法流程示意图，所述方法包括：步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；在该步骤中，如图2所示为本专利技术实施例所述测量电极的贴肤位置示意图，所述测量电极包含五个通路，该五个通路的测量电极分别贴肤在使用者面部皮肤的设定位置上。步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；在该步骤中，识别的指令词需要根据使用环境和需求预先设定，指令词可以是单个字或者两字词组，比如向前、向后、灭火、危险、集合等，在使用本装置之前，需先采集和处理信号生成指令样本集然后储存在数据处理装置中，用于分类识别操作的实现。具体实现中，上述数据处理装置的具体处理过程为：1)首先对采集的肌肉电信号进行滤波和降噪预处理；由于采集的信号会受到其他生理电信号或电子设备产生的干扰，需要对信号进行预处理，本专利技术实施例采用20HZ的高通道滤波以及50HZ的梳状陷波滤波器(notchcombfilter)消除噪声。2)然后基于预处理后的肌肉电信号判断肌肉活动状态，分割出肌肉活动时产生的有效信号，即肌肉活动状态的开始点和结束点，具体过程为：首先对预处理后的肌肉电信号进行顺序分窗，窗长为200ms，计算窗的标准方差与阙值进行比较，该阙值的计算公式为：Th＝mean(rest)+μ*std(rest)其中，Th为阙值；rest为一个窗信号的前100ms内的信号；mean为信号的期望；std为信号的标准差；μ为敏感度值，经试验测试，μ值为3时结果最优；在检测到肌肉处于活动状态后获得相应的信号数据，由于用户说话的快慢不同，提取出的信号的长度也不一，一般情况下信号的长度在200ms-400ms之间；进一步采用立方插值法将该信号扩展至400ms做为有效信号。3)再对肌肉活动状态内的有效信号进行特征提取和优化，具体过程为：特征提取采用的特征为时间特征，首先对有效信号进行分帧，帧长为30ms，帧移为15ms：针对每一个移动窗，提取四个特征值，分别为：其中，N表示一个移动窗中包含的数值个数；Xi为当前窗口第i个数值；一个5通路有效信号进行分窗特征提取后得到的特征维度为520维；这里，考虑到一个肌肉蔟的活动会影响周围肌透蔟粗的活动，特征从本质上就存在相关性，并且从少量且有效的特征可以提高算法效率，然后利用线性判别分析方法(LDA)将特征维度从520维优化至50维，用少量的特征维度保证高纬度的信息，获得相似甚至同样效果的分类结果。4)然后采用基于随机森林的一致性预测算法对特征提取的有效信号进行分类识别，识别出对应的指令词，具体过程为：首先，基于随机森林的定义An，在随机森林中计算两个样本之间的亲近值(RandomForestProximities)P(i，j)，i，j＝1，...，n，亲近值表示在不考虑真实标签的情况下，两个样本本文档来自技高网...

【技术保护点】
1.一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法，其特征在于，所述方法包括：/n步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；/n步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；/n步骤3、再由语言处理装置将识别出的指令词转化为人工语音；/n步骤4、然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。/n

【技术特征摘要】
1.一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法，其特征在于，所述方法包括：
步骤1、首先通过预先贴肤在使用者面部皮肤上的测量电极实时采集相应位置的肌肉电信号；
步骤2、由数据处理装置对所采集的肌肉电信号进行预处理、特征提取、分类识别操作，识别出对应的指令词；
步骤3、再由语言处理装置将识别出的指令词转化为人工语音；
步骤4、然后通过射频装置将所述人工语音发送至操作人员的耳机，并通过无线方式将语音文本发送至指挥中心。


2.根据权利要求1所述方法，其特征在于，在步骤1中，所述测量电极包含五个通路，该五个通路的测量电极分别贴肤在使用者面部皮肤的设定位置上。


3.根据权利要求1所述方法，其特征在于，在步骤2中，所述识别的指令词根据使用环境和需求预先设定，指令词为单个字或者两字词组，具体包括向前、向后、灭火、危险、集合词组。


4.根据权利要求1所述方法，其特征在于，在步骤2中，所述数据处理装置的具体处理过程为：
首先对采集的肌肉电信号进行滤波和降噪预处理；
然后基于预处理后的肌肉电信号判断肌肉活动状态，分割出肌肉活动时产生的有效信号，即肌肉活动状态的开始点和结束点；
再对肌肉活动状态内的有效信号进行特征提取和优化；
然后采用基于随机森林的一致性预测算法对特征提取的有效信号进行分类识别，识别出对应的指令词。


5.根据权利要求4所述方法，其特征在于，所述基于预处理后的肌肉电信号判断肌肉活动状态，分割出肌肉活动时产生的有效信号的过程具体为：
首先对预处理后的肌肉电信号进行顺序分窗，窗长为200ms，计算窗的标准方差与阙值进行比较，该阙值的计算公式为：
Th＝mean(rest)+μ*std(rest)
其中，Th为阙值；rest为一个窗信号的前100ms内的信号；mean为信号的期望；std为信号的标准差；μ为敏感度值，经试验测试，μ值为3时结果最优；
在检测到肌肉处于活动状态后获得相应的有效信号数据，该有效信号的长度在200ms-400ms之间；
进一步采用立方插值法将该有效信号扩展至400ms长进行输出。


6.根据权利要求4所述方法，其特征在于，所述对肌肉活动状态内的有效信号进行特征提取和优化的过程具体为：
特征提取采用的特征为时间特征，首先对有效信号进行分帧，帧长为30ms，帧移为15ms；
针对每一个移动窗，提取四个特征值，分别为：












其中，N表示一个移动窗中包含的数值个数；Xi为当前窗口第i个数值；一个5通路有效信号进行分窗特征提取后得到的特征维度为520维；
然后利用线性判别分析方法将特征维度从520维优化至50维，用少量的特征维度保证高纬度的信息。


7.根据权利要求4所述方法，其特征在于，所述采用基于随机森林的一致性预测算法对特征提取的有效信号进行分类识...

【专利技术属性】
技术研发人员：杨梦，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京;11