用于音频分析和感知增强的系统技术方案

本申请描述了一种音频感知系统，该系统包括：捕获模块，配置成捕获声学语音信号信息；特征提取模块，配置成提取识别声学信号中的候选无声部分的特征；分类模块，配置成基于所提取的特征识别声学信号是否为无声部分或是否包含无声部分；以及控制模块，配置成为感官刺激致动器生成控制信号，其中感官刺激致动器用于生成待被传送给收听者的空气触觉刺激，控制信号至少部分地基于表示所识别的无声部分的信号。还描述了相关方法。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于音频分析与感知的系统。具体地，本专利技术设计用于将听觉语音信息转化成类似于自然语音产生的气流的空气触觉刺激的系统。本专利技术还涉及用于当收听者接收或听到语音信息时将空气触觉刺激传送给收听者以提高对语音信息的感知的系统。
技术介绍
当人们说话时，他们产生可潜在地帮助收听者理解他/她所听到的内容的听觉、视觉和体感(振动和气流)信息。虽然听觉信息对语音感知来说可能已足够，但其他信息流能够增强语音感知。例如，来自发声者面部的视觉信息可增强对语音的感知。触摸发声者的面部也可有助于语音感知。例如，使用诸如Tadoma方法的各种技术来帮助耳背的人理解语音，其中Tadoma方法为人们通过将拇指放在说话者的唇部并且通常使手指沿着说话者的下颚线来提高交流的一种方法。现有空气触觉系统可通过将与清音停顿(为可能的无声表达的子集并包括诸如“p”、“t”和“k”的辅音)产生的空气喷出匹配的空气喷出施加至手部、颈部或末梢皮肤位置(诸如踝)来提高语音感知。可通过发送用于打开电磁阀的50ms长的信号从管释放加压空气(约5-8psi)来产生空气喷出，从而模仿为了发“pa”中的“p”和“ta”中的“t”而由说话者产生的自然空气喷出。人类操作者手动识别语音信号中的清音停顿并确定在语音中出现清音停顿时传送空气喷出的时序。一旦识别到信号中的清音停顿，则音频信号可结合空气喷出一起被传送给收听者。因此，现有空气触觉系统不适于实时应用。为了使空气喷出与音频信号适当地对准，这些系统需要对音频信号进行仔细的手动/人工辅
助的预处理。用于增强语音感知的其他现有系统包括振动触觉设备。空气触觉刺激是基于语音中的非周期分量，以将他们用于施加适当气流的体感刺激。还可以包括气流本身，但还可以是模仿气流的直接触觉刺激或电触觉刺激，或者允许收听者使用信号的任意其他技术。相反，振动触觉系统主要基于语音中的周期(振动)分量。振动触觉设备附接至身体的各个部分并提供了与语音信号相关的振动或振动触觉刺激。与该技术有关的工作主要适于呈现语音中的基频和语调模式的二级源，且一些适于呈现元音(共振峰)信息。当几乎没有或没有气流有机会接触皮肤时，在从唇部产生低气压的时间段期间从语音中产生这种信息。因此，当前的振动触觉设备精确地使用来自语音信号的、空气触觉设备没有准确使用的信息，反之亦然。另外，振动触觉设备需要训练或预先被告知任务来工作。本专利技术的目标是提供用来提高音频分析和/或感知的系统，和/或至少为公众提供有用的选择。
技术实现思路
概括来说本专利技术包括用于通过确定来自声学语音信号的湍流气流信息来增强音频感知的系统和方法，其中，配置成待被传送给收听者的空气触觉刺激至少部分地基于所确定的湍流气流信息。一方面，本专利技术包括音频感知系统，该系统包括：捕获模块，配置成捕获声学语音信号信息；特征提取模块，配置成提取识别声学信号中的候选无声部分的特征；分类模块，配置成基于所提取的特征识别声学信号是否为无声部分或是否包含无声部分；以及控制模块，配置成生成用于感官刺激致动器的控制信号，其中感官刺激致动器用于生成待被传送给收听者的空气触觉刺激，控制信号至少部分地基于表示所识别的无声部分的信号。本说明书中使用的术语“包括”意味着“至少部分地由...构成”。在解释本说明书中的包括术语“包括(comprising)”的每个语句时，还可存在除由该以术语为引语的特征之外的特征。诸如“包括
(comprise)”和“包括(comprises)”的相关术语将以相同的方式进行解释。优选地，捕获模块连接至感应器，感应器被配置为生成声学语音信号信息。优选地感应器包括声学麦克风。优选地，捕获模块连接至通信介质，通信介质适合于生成声学语音信号信息。优选地，捕获模块连接至计算机可读介质，其中，声学语音信号信息存储在该计算机可读介质上。优选地，捕获模块包括压力传感器。优选地，捕获模块包括力感知设备，该力感知设备位于来自人类说话者唇部的气流中或附近。优选地，捕获模块包括光学流计量器。优选地，捕获模块包括热流计量器。优选地，捕获模块包括力学流计量器。优选地，捕获模块被配置成捕获包括来自湍流和/或生成湍流的语音压力波的信息的声学语音信号信息。优选地，特征提取模块被配置为识别信号的显著方面，当通过分类模块解译时，信号的显著方面用于基于声学信号的所提取的特征中的一个或多个来识别无声部分。优选地，特征提取模块被配置成基于以下所列项中的一个或多个提取与无声部分有关的特征：过零率、周期性、自相关、瞬时频率、频率能量、统计测量、变化率、强度均方根值、时间谱信息、滤波器组、解调方案或声学信号本身。优选地，特征提取模块被配置成计算声学信号的过零率，如果声学信号的一部分的每单位时间中的过零点中的至少一个大于阈值，则分类模块使用该过零率来指示声学信号的该部分为无声部分。优选地，特征提取模块被配置成计算声学信号的频率能量，如果声学信号的一部分的频率能量大于阈值，则分类模块指示声学信号的该部分为无声部分。优选地，特征提取模块被配置成基于Teager能量计算频率能量。优选地，特征提取模块被配置成计算声学信号的过零点和频率能量，当将过零点与频率能量结合时，由分类模块使用过零点与频率能量来以识别声学信号是否为无声部分或是否包含无声部分。优选地，特征提取模块被配置成使用来自感应器的低频声学信号以识别声学信号中的候选无声部分。优选地，分类模块被配置成基于对候选无声部分进行以下所列的一个或多个来识别无声部分：探试法、逻辑系统、数学分析、统计学分析、学习系统、选通操作、范围限制以及归一化。优选地，控制模块被配置成基于表示声学信号中的候选无声部分的信号生成控制信号。优选地，控制模块被配置成基于无声部分的湍流气流信息中的能量将表示无声部分的信号转换成表示湍流气流的信号，且基于该能量与来自语音的可能气流之间的关系进行转换。优选地，表示湍流气流的信号是表示湍流气流信息的声学信号的包络。优选地，该信号为表示无声部分的信号的差分。优选地，信号是具有至少一个信号特性的任意信号，其中至少一个信号特性指示在声学信号中出现湍流信息。优选地，信号包括脉冲序列，在脉冲序列中每个脉冲的计时均指示出现湍流信息。优选地，信号特性包括峰值、过零点和波谷中的一个或多个。优选地，系统还包括至少一个后处理模块。优选地，至少一个后处理模块被配置为滤波、使用线性或非线性映射、使用选通操作、使用范围限制和/或归一化，以增强发送到所述至少一个后处理模块的信号。优选地，至少一个后处理模块被配置为使用高通滤波器、低通滤波器、带通滤波器、带阻滤波器、移动平均值和中值滤波器中的一个或多个对信号进行滤波。优选地，至少一个后处理模块包括后特征提取处理模块，后特征
提取处理模块用于处理表示用于候选无声部分的所提取特征的信号以供分类模块使用，分类模块被配置成基于来自后特征提取处理模块的输出识别无声部分。优选地，至少一个后处理模块包括后分类模块，该后分类模块用于处理表示来自分类模块的无声部分的信号，控制模块被配置成基于来自后分类处理模块的输出生成控制信号。优选地，至少一个后处理模块包括用于处理来自控制单元的控制信号的后控制处理模块，感官刺激致动器被配置成基于来自后控制处理模块的输出而输本文档来自技高网...

【技术保护点】
音频感知系统，所述系统包括：捕获模块，配置成捕获声学语音信号信息；特征提取模块，配置成提取识别声学信号中的候选无声部分的特征；分类模块，配置成基于所提取的特征识别所述声学信号是否为无声部分或是否包含无声部分；以及控制模块，配置成生成用于感官刺激致动器的控制信号，其中所述感官刺激致动器用于生成待传送给收听者的空气触觉刺激，所述控制信号至少部分基于表示所识别的无声部分的信号。

【技术特征摘要】
【国外来华专利技术】2014.02.14 US 61/939,9741.音频感知系统，所述系统包括：捕获模块，配置成捕获声学语音信号信息；特征提取模块，配置成提取识别声学信号中的候选无声部分的特征；分类模块，配置成基于所提取的特征识别所述声学信号是否为无声部分或是否包含无声部分；以及控制模块，配置成生成用于感官刺激致动器的控制信号，其中所述感官刺激致动器用于生成待传送给收听者的空气触觉刺激，所述控制信号至少部分基于表示所识别的无声部分的信号。2.根据权利要求1所述的系统，其中，所述捕获模块连接至感应器，所述感应器配置成生成所述声学语音信号信息。3.根据权利要求2所述的系统，其中，所述感应器包括声学麦克风。4.根据权利要求1所述的系统，其中，所述捕获模块连接至通信介质，所述通信介质适于生成所述声学语音信号信息。5.根据权利要求1所述的系统，其中，所述捕获模块连接至计算机可读介质，其中，所述声学语言信号信息存储在所述计算机可读介质上。6.根据权利要求1所述的系统，其中，所述捕获模块包括压力传感器。7.根据权利要求1所述的系统，其中，所述捕获模块包括力感知设备，所述力感知设备位于来自人类说话者的唇部的气流中或附近。8.根据权利要求1所述的系统，其中，所述捕获模块包括光学流计量器。9.根据权利要求1所述的系统，其中，所述捕获模块包括热流计量器。10.根据权利要求1所述的系统，其中，所述捕获模块包括力学流计量器。11.根据前述权利要求中的任一项所述的系统，其中，所述捕获模块配置成捕获包括来自湍流和/或生成湍流的语音压力波的信息的声学语音信号信息。12.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成识别所述信号的显著方面，当通过所述分类模块解译时，所述信号的显著方面用于基于所述声学信号的所提取特征中的一个或多个来识别无声部分。13.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成基于以下所列项中的一个或多个来提取与无声部分有关的特征：过零率、周期性、自相关、瞬时频率、频率能量、统计测量、变化率、强度均方根值、时间谱信息、滤波器组、解调方案或声学信号本身。14.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成计算所述声学信号的所述过零率，如果所述声学信号的一部分的每单位时间的过零点中的至少一个大于阈值，则所述分类模块使用所述过零率来指示所述声学信号的所述部分为无声部分。15.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成计算所述声学信号的频率能量，如果所述声学信号的一部分的频率能量大于阈值，则所述分类模块指示所述声学信号的所述部分为无声部分。16.根据权利要求15所述的系统，其中，所述特征提取模块配置成基于Teager能量计算所述频率能量。17.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成计算所述声学信号的过零点和频率能量，当将所述过零点与所述频率能量结合时，由所述分类模块使用所述过零点与所述频率能量来识别所述声学信号是否为所述无声部分或是否包含所述无声部分。18.根据前述权利要求中的任一项所述的系统，其中，所述特征提取模块配置成使用来自感应器的低频声学信号来识别声学信号中的所述候选无声部分。19.根据前述权利要求中的任一项所述的系统，其中，所述分类模块配置成基于所述候选无声部分的以下所列中的一个或多个来识别所述无声部分：探试法、逻辑系统、数学分析、统计学分析、学习系统、选通操作、范围限制以及归一化。20.根据前述权利要求中的任一项所述的系统，其中，所述控制模块配置成基于表示所述声学信号中的所述候选无声部分的信号生成所述控制信号。21.根据权利要求20所述的系统，其中，所述控制模块配置成基于所述无声部分的湍流气流信息中的能量将表示所述无声部分的所述信号转换成表示湍流气流的信号，且基于所述能量与来自语音的可能
\t气流之间的关系进行转换。22.根据权利要求20或21所述的系统，其中，所述表示湍流气流的信号为表示湍流气流信息的所述声学信号的包络。23.根据权利要求20或21所述的系统，其中，所述信号为表示所述无声部分的信号的差分。24.根据权利要求20或21所述的系统，其中，所述信号是具有至少一个信号特性的任意信号，其中所述至少一个信号特性指示在所述声学信号中出现湍流信息。25.根据权利要求24所述的系统，其中，所述信号包括脉冲序列，在所述脉冲序列中每个脉冲的计时均指示出现所述湍流信息。26.根据权利要求24或25所述的系统，其中，所述信号特性包括峰值、过零点和波谷中的一个或多个。27.根据前述权利要求中的任一项所述的系统，所述系统还包括至少一个后处理模块。28.根据权利要求27所述的系统，其中，所述至少一个后处理模块配置为滤波、使用线性或非线性映射、使用选通操作、使用范围限制和/或归一化，以增强发送至所述至少一个后处理模块的信号。29.根据权利要求27或28所述的系统，其中，所述至少一个后处理模块配置为使用高通滤波器、低通滤波器、带通滤波器、带阻滤波器、移动平均值和中值滤波中的一个或多个对所述信号进行滤波。30.根据权利要求27至29中的任一项所述的系统，其中，所述
\t至少一个后处理模块包括后特征提取处理模块，所述后特征提取处理模块用于处理表示用于所述候选无声部分的所提取特征的信号，以用于所述分类模块，所述分类模块被配置成基于来自所述后特征提取处理模块的输出来识别所述无声部分。31.根据权利要求27至30中的任一项所述的系统，其中，所述至少一个后处理模块包括后分类模块，所述后分类模块用于处理表示来自所述分类模块的无声部分的信号，所述控制模块配置成基于来自所述后分类处理模块的输出生成所述控制信号。32.根据权利要求27至31中的任一项所述的系统，其中，所述至少一个后处理模块包括用于处理来自所述控制单元的所述控制信号的后控制处理模块，所述感官刺激致动器配置成基于来自所述后控制处理模块的输出而输出空气触觉刺激。33.根据权利要求27至32中的任一项所述的系统，其中，所述至少一个后处理模块包括用于处理来...

【专利技术属性】
技术研发人员：唐纳德·詹姆士·德里克，汤姆·热拉尔·德莱贝尔，
申请(专利权)人：唐纳德·詹姆士·德里克，汤姆·热拉尔·德莱贝尔，
类型：发明
国别省市：新西兰;NZ