语音联想识别装置、佩戴用具、语音联想识别方法及程序制造方法及图纸

本发明专利技术提供一种能够进行基于脑电波的语音语言识别的语音联想识别装置。本发明专利技术是根据语音联想时的脑电波来识别语音语言的语音联想识别装置(1)，具有：脑电波输入部(2)，其将从电极组(22)输入的脑电波变换为离散信号组；分析处理部(4)，其对从电极组(22)输入的每个所述电极的脑电波的离散信号组进行分析处理而输出频谱时间序列；语言特征提取部(5)，其基于所述频谱时间序列来输出音素特征向量时间序列；词/句识别部，其基于所述音素特征向量时间序列来识别所述语音语言；以及后处理/输出部(7)，其输出由所述词/句识别部(6)识别出的语音语言。音语言。音语言。

【技术实现步骤摘要】
【国外来华专利技术】语音联想识别装置、佩戴用具、语音联想识别方法及程序


[0001]本专利技术涉及语音联想识别装置、佩戴用具、语音联想识别方法及程序。

技术介绍

[0002]在语音语言输入装置中，实用性地提供通过麦克风接收目前为止发出的语音波或通过振动拾音器接收骨传导的振动，并根据所得到的信号来识别语音语言信息的装置。
[0003]近年来，利用庞大的语音数据以及语言数据，将与音素的排列(声学模型)和词的排列(语言模型)有关的概率信息蓄积并利用于网络上，从而实现高速、高性能的语音语言识别。另一方面，由于讲话对周围的困扰/泄露、讲话困难的肌肉萎缩性侧索硬化症(ALS)患者等的增大，从脑计算机接口(Brain Computer Interface；BCI)的领域期望实现不伴随讲话的基于语音联想(speech imagery)的语言识别。
[0004]关于基于语音联想信号的语音语言识别，通过从脑皮质观测64～128点的硬膜下皮质表面电位(Electrocorticogram；ECoG)，近年来正在尝试伴随讲话的情况下的语音语言识别(参照非专利文献1)。但是，像这样伴随着开头手术的方法用于重症的患者以外是不现实的。另一方面，虽然通过头皮上的电极观测脑电波(Electroencephalogram：EEG)的方式如果实用化对社会的贡献不可估量，但至今为止，尝试发现在噪声中具有意义的语音语言信号尚未成功。
[0005]近年来，使用PET、fMRI等高分辨率装置来解析讲话时的脑、或者开颅手术时观测患者讲话时的ECoG的研究得以进展，语音语言在脑的何处的部位被处理正在变得明确。根据这些结果，在左侧颞中回(MTG)中的概念准备之后，在左侧颞上回(STG)中进行作为语言的规划(参照非专利文献2)。之后，在左上额回(IFG；布罗卡区)中进行音节化(syllabication)，在讲话时在左中心前回(PG；运动区域)进行调音(构音)(参照非专利文献3)。根据这样的研究成果，期待对于不伴随讲话的语音语言的解码(decode)也能够捕捉到达布罗卡区的语言表象(linguistic representation)。
[0006]另外，提出了检测脑电波并从该脑电波检测与运动指令相关的信号的技术(参照专利文献1)。
[0007]现有技术文献
[0008]非专利文献
[0009]非专利文献1：Heger D.et al.，Continuous Speech Recognition from ECoG，Interspeech 2015，1131
‑
1135(2015)
[0010]非专利文献2：Indefrey，P et al.，The spatial and temporal signatures of word production components，Cognition 92，101
‑
144(2004)
[0011]非专利文献3：Bouchard K.E.et al.，Functional organization of human sensorimotor cortex for speech articulation，Nature 495，327
‑
332(2013)
[0012]非专利文献4：Gilami M.，Advances in Independent Component Analysis，Springer(2000)
[0013]非专利文献5：Durbin，J.“The fitting of time series models.”Rev.Inst.Int.Stat.，v.28，pp.233
‑
243(1960)
[0014]专利文献
[0015]专利文献1：日本特开2008
‑
204135号公报

技术实现思路

[0016]专利技术所要解决的课题
[0017]然而，在基于脑电波的语音语言识别中，不清楚语言表象以怎样的格式表现，无法发现具体的提取方法是最大的问题点。并且，如果不提供从语言表象向以音素为单位的变换方法，则例如必须如音节单位那样以很多种类为对象(在音节中除了短音节以外还具有很多长音节，称为计数千个)，效率良好的语音语言处理变得非常困难(音素中，日语24个、英语44个(其中，将弱元音和强元音区分，在日语中通常不区分)程度)。
[0018]本专利技术是鉴于上述情况而完成的，其目的在于提供一种能够进行基于脑电波的语音语言识别的语音联想识别装置、佩戴用具、语音联想识别方法以及程序。
[0019]用于解决课题的手段
[0020]为了实现上述目的，本专利技术的最主要的特征在于，为了根据语音联想时的脑电波来识别语音语言，通过作为语言表象的线谱成分提取器提取线谱成分，并且使这些成分通过使用了按音素卷积运算等的音素特征向量时间序列变换器，由此得到音素特征向量时间序列。
[0021]第一专利技术提供一种语音联想识别装置，其根据语音联想时的脑电波来识别语音语言，该语音联想识别装置具有：分析处理部，其对从电极组输入的每个所述电极的脑电波的离散信号组进行分析处理而输出频谱时间序列；以及提取部，其基于所述频谱时间序列，输出音素特征向量时间序列。
[0022]第二专利技术提供一种语音联想识别装置用的佩戴用具，所述语音联想识别装置根据语音联想时的脑电波来识别语音语言，所述佩戴用具具有：电极组，其配置在布罗卡区周边；以及输出部，其输出来自所述电极组的信号，所述语音联想识别装置执行如下处理：分析处理，对从所述输出部输出的每个所述电极的脑电波的离散信号组进行分析处理而输出频谱时间序列；以及提取处理，基于所述频谱时间序列，输出音素特征向量时间序列。
[0023]第三专利技术提供一种语音联想识别方法，根据语音联想时的脑电波来识别语音语言，所述语音联想识别方法包括如下步骤：分析处理步骤，对从电极组输入的每个所述电极的脑电波的离散信号组进行分析处理而输出频谱时间序列；以及提取步骤，基于所述频谱时间序列，输出音素特征向量时间序列。
[0024]第四专利技术提供一种程序，用于使计算机执行根据语音联想时的脑电波来识别语音语言的语音联想识别处理，所述程序所述计算机执行如下处理：分析处理，对从电极组输入的每个所述电极的脑电波的离散信号组进行分析处理而输出作为语言表象的频谱成分；以及提取处理，基于每个所述电极的频谱成分，提取音素特征组。
[0025]专利技术效果
[0026]根据本专利技术，能够提供一种能够进行基于脑电波的语音语言识别的语音联想识别装置、佩戴用具、语音联想识别方法以及程序。
附图说明
[0027]图1是表示本专利技术的识别装置的结构的模型图。
[0028]图2是表示脑电波测定电极(10
‑
10系统)和布罗卡区周边9个电极的图。
[0029]图3是表示从脑电波去除噪声的效果图。
[0030]图4是语音联想时脑电波的线性预本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种语音联想识别装置，其根据语音联想时的脑电波来识别语音语言，其特征在于，所述语音联想识别装置具有：分析处理部，其对从电极组输入的每个所述电极的脑电波的离散信号组进行分析处理而输出频谱时间序列；以及提取部，其基于所述频谱时间序列，输出音素特征向量时间序列。2.根据权利要求1所述的语音联想识别装置，其特征在于，所述语音联想识别装置还具有：脑电波输入部，其将从电极组输入的脑电波变换为离散信号组。3.根据权利要求1或2所述的语音联想识别装置，其特征在于，所述语音联想识别装置还具有：前处理部，其从将每个所述电极的离散信号组变换为频域而得到的语音联想信号的频谱减去平均噪声振幅频谱，由此去除所述脑电波中的噪声。4.根据权利要求3所述的语音联想识别装置，其特征在于，所述前处理部进行从所述噪声去除后的各电极信号取出少数独立的信息源的独立成分分析。5.根据权利要求1至4中任一项所述的语音联想识别装置，其特征在于，所述语音联想识别装置还具有：识别部，其基于所述音素特征向量时间序列来识别所述语音语言。6.根据权利要求1至5中任一项所述的语音联想识别装置，其特征在于，所述语音联想识别装置还具有：输出部，其输出所述识别部识别出的语音语言。7.根据权利要求6所述的语音联想识别装置，其特征在于，所述输出部显示用于辅助进行所述语音联想的同时调整所述电极组的最佳位置的画面。8.根据权利要求1至7中任一项所述的语音联想识别装置，其特征在于，所述分析处理部通过应用线性预测分析来提取所述频谱时间序列。9.根据权利要求1至8中任一项所述的语音联想识别装置，其特征在于，所述分析处理部基于每个所述电极的离散信号，进行吸收频率波动的处理。10.根据权利要求1至9中任一项所述的语音联想识别装置，其特征在于，所述分析处理部对每个时间帧提...

【专利技术属性】
技术研发人员：新田恒雄，
申请(专利权)人：新田恒雄，
类型：发明
国别省市：