一种基于传声器技术的耳机佩戴者语音活动检测系统技术方案

本发明专利技术公开了一种基于传声器技术的耳机佩戴者语音活动检测系统，包括：传声器阵列、第一估计模块、第二估计模块和联合控制模块；传声器阵列，用于接收声音信号；第一估计模块，用于根据声源的来波方向，确定佩戴者的第一语音存在概率；第二估计模块，用于根据声源的直达混响比，确定佩戴者的第二语音存在概率；联合控制模块，用于根据第一语音存在概率和第二语音存在概率，确定第三语音存在概率，对佩戴者进行语音活动检测。使用传声器阵列技术，检测耳机佩戴者语音活动。即便在低信噪比、高混响情况及多说话人干扰等复杂声学场景下，也能实现佩戴者语音活动检测，为后续的语音增强及语音识别技术提供重要依据。

A voice activity detection system for headphone wearer based on microphone technology

【技术实现步骤摘要】
一种基于传声器技术的耳机佩戴者语音活动检测系统
本专利技术涉及语音活动检测领域，尤其涉及一种基于传声器技术的耳机佩戴者语音活动检测系统。
技术介绍
当前，耳机已经成为日常娱乐及语音通信中不可缺少的电子产品。随着人工智能技术的发展，耳机不在局限于普通的通话功能，语音增强及语音助手等功能的加入大大提高了耳机的实用性。在实际应用中，耳机的通话传声器往往会拾取各种各样的噪声，噪声类型主要包括例如地铁噪声、马路噪声这类较为平稳的环境噪声，以及附近其他说话人或商城、高铁站广播等强非平稳噪声。这些噪声不仅会影响通话质量，而且会提高误唤醒，增大功耗并缩短待机时间。特别是当其他说话人距离佩戴者距离较近且音量较大时，佩戴者的语音活动检测会受到很大影响。为了解决上述问题，需要使用语音降噪技术对佩戴者说话语音进行增强，对环境噪声及其他干扰噪声进行抑制。对于佩戴者语音活动检测(Voiceactivitydetection，VAD)，现有的方法主要分为三类，第一类是采用基于传声器阵列的语音增强算法对目标方向语音进行增强[1，2]，通过波束形成技术对佩戴者语音进行增强并抑制其他方向的干扰，但是当信噪比较低，特别是存在强干扰语音时，该类方法往往会出现检测不到目标语音或者误将强干扰语音当成目标语音的现象，从而影响波束形成性能。第二类是基于辅助传感器的方法进行降噪[3-5]，采用例如振动传感器或者加速度传感器(例如骨导传感器)等进行佩戴者语音活动检测，该类方法需要辅助传感器提供非声学信息进行辅助判断，虽然准确度较高，但需要佩戴者正确佩戴耳机且成本较高。第三类是利用分类思想，认为目标语音是近场信号，而其他语音是远场信号(至少半米以上)，利用传声器接收信号的响度或信噪比等特点，设置多个门限进行场景分类，实现佩戴者说话检测[6]。该方法实际应用中不够鲁棒，且当干扰语音离目标较近时，会导致误判现象。
技术实现思路
本专利技术的目的在于提出一种基于传声器技术的耳机佩戴者语音活动检测新方法，既可应用于实时语音和音频通信系统，也可以应用于非实时的语音增强及语音唤醒等场景中。本专利技术公开了一种基于传声器技术的耳机佩戴者语音活动检测系统，包括：传声器阵列、第一估计模块、第二估计模块和联合控制模块；其中，传声器阵列，用于接收声音信号；传声器阵列包括至少两对传声器，每对传声器组至少由两个传声器组成，传声器对中的两个传声器分别设置在耳机的左耳部件和右耳部件上；第一估计模块，用于根据传声器阵列接收的声音信号，估计声源的来波方向，确定佩戴者的第一语音存在概率；第二估计模块，用于根据传声器阵列接收的声音信号，估计声源的直达混响比，确定佩戴者的第二语音存在概率；联合控制模块，基于佩戴者嘴部与传声器阵列的对称性及近场语音特性，根据第一语音存在概率和第二语音存在概率，确定第三语音存在概率，对佩戴者进行语音活动检测。一个实例中，左耳部件上的至少两个传声器形成指向佩戴者嘴部的波束形成器，形成波束输出；右耳部件上的至少两个传声器形成指向佩戴者嘴部的波束形成器，形成波束输出；第一估计模块根据至少两个波束输出的相位差，确定声源的来波方向。一个实例中，联合控制模块，还用于对第一语音存在概率的概率函数和第二语音存在概率的概率函数进行加权，确定第三语音存在概率。一个实例中，语音活动检测系统还包括：噪声处理模块；所述噪声处理模块用于判断是否存在噪声源，以及估计传声器处的佩戴者嘴部语音与噪声源信噪比。一个实例中，联合控制模块，还用于根据信噪比对第一语音存在概率的概率函数和第二语音存在概率的概率函数进行加权，确定第三语音存在概率。本专利技术的优点在于：使用传声器阵列技术，利用左右耳接收信号的时延差进行波达方向(DOA，DirectionOfArrival)估计，利用左右耳接收信号的相干性进行直达混相比估计；利用上述两个参数，并结合目标语音的空间特性和频谱特性，设计佩戴者语音存在概率函数估计器，用于检测耳机佩戴者语音活动。大量实验证明，本专利提出的新方法即便在低信噪比、高混响情况及多说话人干扰等复杂声学场景下，也能实现佩戴者语音活动检测，为后续的语音增强及语音识别技术提供重要依据。附图说明图1为语音活动检测系统的使用场景示意图；图2为一种基于传声器技术的耳机佩戴者语音活动检测系统的传声器阵列与人脸关系示意图；图3为一种基于传声器技术的耳机佩戴者语音活动检测系统原理框图；图4(a)为本专利技术实施例中仅佩戴者说话的语谱图；图4(b)为本专利技术实施例中仅佩戴者说话的角度估计时序图；图4(c)为本专利技术实施例中仅佩戴者说话的第一语音存在概率时序图；图5(a)为本专利技术实施例中仅有干扰声音的语谱图；图5(b)为本专利技术实施例中仅有干扰声音的角度估计时序图；图5(c)为本专利技术实施例中仅有干扰声音的第一语音存在概率时序图；图6(a)为本专利技术实施例中包含佩戴者说话和干扰声音的语谱图；图6(b)为本专利技术实施例中包含佩戴者说话和干扰声音的角度估计时序图；图6(c)为本专利技术实施例中包含佩戴者说话和干扰声音的第一语音存在概率时序图；图7(a)为本专利技术实施例环境一的场景俯视示意图；图7(b)为本专利技术实施例环境一中仅佩戴者说话的语谱图；图7(c)为本专利技术实施例环境一中仅佩戴者说话的第二语音存在概率时序图；图8(a)为本专利技术实施例环境二的场景俯视示意图；图8(b)为本专利技术实施例环境二中包含佩戴者说话和干扰声音的语谱图；图8(c)为本专利技术实施例环境二中包含佩戴者说话和干扰声音的第二语音存在概率时序图；图9(a)为本专利技术实施例环境三的场景俯视示意图；图9(b)为本专利技术实施例环境三中包含佩戴者说话和干扰声音的语谱图；图9(c)为本专利技术实施例环境三中包含佩戴者说话和干扰声音的第二语音存在概率时序图；图10(a)为本专利技术实施例环境三中包含佩戴者说话和干扰声音的语谱图；图10(b)为本专利技术实施例环境三中包含佩戴者说话和干扰声音的第三语音存在概率时序图；图11(a)为本专利技术实施例环境四的场景俯视示意图；图11(b)为本专利技术实施例环境四中包含佩戴者说话和干扰声音的语谱图；图11(c)为本专利技术实施例环境四中包含佩戴者说话和干扰声音的第三语音存在概率时序图；图12为一种基于传声器技术的耳机佩戴者语音活动检测系统框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为语音活动检测系统的使用场景示意图。如图1所示，一个环境(例如密闭的办公环境)中存在佩戴者11和干扰源12，一种基于传声器本文档来自技高网...

【技术保护点】
1.一种基于传声器技术的耳机佩戴者语音活动检测系统，其特征在于，包括：传声器阵列、第一估计模块、第二估计模块和联合控制模块；其中，/n传声器阵列，用于接收声音信号；传声器阵列包括至少两对传声器，每对传声器组至少由两个传声器组成，传声器对中的两个传声器分别设置在耳机的左耳部件和右耳部件上；/n第一估计模块，用于根据传声器阵列接收的声音信号，估计声源的来波方向，确定佩戴者的第一语音存在概率；/n第二估计模块，用于根据传声器阵列接收的声音信号，估计声源的直达混响比，确定佩戴者的第二语音存在概率；/n联合控制模块，基于佩戴者嘴部与传声器阵列的对称性及近场语音特性，根据第一语音存在概率和第二语音存在概率，确定第三语音存在概率，对佩戴者进行语音活动检测。/n

【技术特征摘要】
1.一种基于传声器技术的耳机佩戴者语音活动检测系统，其特征在于，包括：传声器阵列、第一估计模块、第二估计模块和联合控制模块；其中，
传声器阵列，用于接收声音信号；传声器阵列包括至少两对传声器，每对传声器组至少由两个传声器组成，传声器对中的两个传声器分别设置在耳机的左耳部件和右耳部件上；
第一估计模块，用于根据传声器阵列接收的声音信号，估计声源的来波方向，确定佩戴者的第一语音存在概率；
第二估计模块，用于根据传声器阵列接收的声音信号，估计声源的直达混响比，确定佩戴者的第二语音存在概率；
联合控制模块，基于佩戴者嘴部与传声器阵列的对称性及近场语音特性，根据第一语音存在概率和第二语音存在概率，确定第三语音存在概率，对佩戴者进行语音活动检测。


2.根据权利要求1所述的系统，其特征在于，左耳部件上的...

【专利技术属性】
技术研发人员：邱锋海，项京朋，
申请(专利权)人：北京声加科技有限公司，
类型：发明
国别省市：北京;11