会议系统中的啸叫检测技术方案

所公开的远程会议方法涉及在远程会议期间检测啸叫状态，所述远程会议涉及两个或更多个远程会议客户端位置以及远程会议服务器。所述远程会议服务器被配置用于在所述远程会议客户端位置之间提供全双工音频连接。所述啸叫状态是涉及某一远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态。检测所述啸叫状态涉及对远程会议音频数据的频谱特性和时间特性两者的分析。所公开的远程会议方法涉及确定哪个客户端位置正在导致所述啸叫状态并且涉及减轻所述啸叫状态或者发送啸叫状态检测消息。

Scream detection in conference system

【技术实现步骤摘要】
【国外来华专利技术】会议系统中的啸叫检测相关申请的交叉引用本申请要求2017年9月29日提交的国际专利申请号PCT/CN2017/104604、2017年10月23日提交的美国临时申请号62/575,701和2017年11月10日提交的欧洲专利申请号17201011.8的优先权，所述专利申请中的每一个都通过引用以其全文并入本文。
本公开涉及音频信号的处理。特别地，本公开涉及处理与远程会议或视频会议相关的音频信号。
技术介绍
声反馈是当音频输入(例如，麦克风)与音频输出(例如，扬声器)之间存在声音环路时发生的一种类型的反馈。例如，麦克风接收的信号可能被扬声器放大和再现。来自扬声器的再现声音然后可能被麦克风再次接收，进一步放大，并且然后被扬声器再次以更高的幅度或音量水平再现。在这种类型的系统中，声反馈的声音可以是响亮的尖叫或长声尖叫，这在本文中可以称为“啸叫(howl)”。在一些实例中，吉他手和其他表演者可能故意制造啸叫(例如，在吉他拾音器与扬声器之间)以便产生期望的音乐效果。虽然一些方法已经被证明成功地检测和减轻无意中产生的啸叫，但是已经证明在远程会议的情景下要解决这个问题更加困难。
技术实现思路
本文公开了各种方法。一些远程会议方法可以涉及在涉及两个或更多个客户端位置的远程会议期间检测啸叫状态以及确定哪个客户端位置正在导致所述啸叫状态。所述远程会议可以涉及两个或更多个远程会议客户端位置和一个远程会议服务器。所述远程会议服务器可以被配置用于在所述远程会议客户端位置之间提供全双工音频连接。所述啸叫状态可以是涉及某一远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态。检测所述啸叫状态可能涉及对远程会议音频数据的频谱特性和时间特性两者的分析。在一些示例中，所述方法可以涉及减轻所述啸叫状态和/或发送啸叫状态检测消息。根据一些示例，所述远程会议服务器可以确定哪个客户端位置正在导致所述啸叫状态。在一些实施方式中，所述远程会议服务器可以检测所述啸叫状态。在一些这样的示例中，远程会议客户端位置处的远程会议装置可以对所述远程会议音频数据中的至少一些远程会议音频数据执行啸叫特征提取过程。所述啸叫特征提取过程可以产生啸叫特征数据。所述远程会议装置可以将所述啸叫特征数据发送到所述远程会议服务器。所述远程会议服务器可以至少部分地基于所述啸叫特征数据来检测所述啸叫状态。根据一些实施方式，所述远程会议服务器可以至少部分地基于从所述远程会议客户端位置中的一个或多个远程会议客户端位置接收的远程会议音频数据来检测所述啸叫状态。在一些这样的实施方式中，所述远程会议服务器可以创建包括从所述远程会议客户端位置接收的远程会议音频数据的远程会议音频数据混合。在一些示例中，所述远程会议服务器可以基于所述远程会议音频数据混合来检测所述啸叫状态。根据一些这样的示例，所述远程会议服务器可以从所述远程会议客户端位置接收远程会议元数据。所述远程会议服务器可以至少部分地基于所述远程会议元数据来确定哪个客户端位置正在导致所述啸叫状态。所述远程会议元数据可以例如包括语音活动检测元数据、电平元数据和/或能量元数据。在一些示例中，所述方法可以涉及根据所述远程会议音频数据来估计啸叫存在概率。检测所述啸叫状态可以至少部分地基于所述啸叫存在概率。根据一些这样的示例，所述啸叫存在概率估计可以基于分层规则集或机器学习方法。根据一些实施方式，远程会议客户端位置处的启用啸叫检测的远程会议装置可以检测所述啸叫状态。在一些这样的实施方式中，所述启用啸叫检测的远程会议装置可以减轻所述啸叫状态。在一些示例中，检测所述啸叫状态可以涉及：根据频带的顺序统计量来计算基于功率的指标；计算频谱共振指标；计算百分位数间距指标；事件聚合；计算周期性指标；检测包络相似度；计算频谱峰度指标；基于机器学习的过程；和/或估计啸叫存在概率。本文描述的一些或所有方法可以由一个或多个装置根据存储在一个或多个非暂态介质上的指令(例如，软件)来执行。这种非暂态介质可以包括诸如本文所述的存储器装置，包括但不限于随机存取存储器(RAM)装置、只读存储器(ROM)装置等。因此，本公开中描述的主题的各种创新方面可以在其上存储有软件的非暂态介质中实施。例如所述软件可以包括用于控制至少一个装置来处理音频数据的指令。例如所述软件可以由如本文所公开的那些控制系统等控制系统的一个或多个部件来执行。所述软件可以例如包括用于执行本文公开的远程会议方法中的一种或多种远程会议方法的指令。一些这样的远程会议方法可以涉及在远程会议期间检测啸叫状态以及确定哪个客户端位置正在导致所述啸叫状态。所述远程会议可以涉及两个或更多个远程会议客户端位置和一个远程会议服务器。所述远程会议服务器可以被配置用于在所述远程会议客户端位置之间提供全双工音频连接。所述啸叫状态可以是涉及某一远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态。检测所述啸叫状态可能涉及对远程会议音频数据的频谱特性和时间特性两者的分析。在一些示例中，所述方法可以涉及减轻所述啸叫状态和/或发送啸叫状态检测消息。本公开的至少一些方面可以经由设备来实施。例如，一个或多个装置可以被配置用于至少部分地执行本文所公开的方法。在一些实施方式中，设备可以包括接口系统和控制系统。所述接口系统可以包括一个或多个网络接口、所述控制系统与存储器系统之间的一个或多个接口、所述控制系统与另一装置之间的一个或多个接口和/或一个或多个外部装置接口。所述控制系统可以包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、或离散硬件部件中的至少一个。在一些实施方式中，所述设备可以是远程会议服务器，或者可以是远程会议服务器的一部分。在一些这样的实施方式中，所述设备可以包括远程会议服务器的一个或多个线路卡或刀片。根据一些这样的示例，所述设备可以包括接口系统和控制系统。所述接口系统可以被配置用于所述远程会议服务器与所述远程会议客户端位置之间的通信。例如，所述控制系统可以被配置用于在远程会议期间在两个或更多个远程会议客户端位置之间提供全双工音频连接。所述控制系统可以被配置用于在所述远程会议期间检测啸叫状态。所述啸叫状态可以是涉及远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态。检测所述啸叫状态可能涉及对远程会议音频数据的频谱特性和时间特性两者的分析。在一些示例中，所述控制系统可以被配置用于确定哪个客户端位置正在导致所述啸叫状态。在一些实施方式中，所述控制系统可以被配置用于减轻所述啸叫状态和/或发送啸叫状态检测消息。根据一些实施方式，所述控制系统可以被配置用于至少部分地基于从所述远程会议客户端位置中的一个或多个远程会议客户端位置接收的远程会议音频数据来检所述测啸叫状态。在一些示例中，所述控制系统可以被配置用于创建远程会议音频数据混合。所述远程会议音频数据混合可以包括从所述远程会议客户端位置接收的远程会议音频数据。在一些示例中，所述控制系统可以被配置用于基于本文档来自技高网...

【技术保护点】
1.一种远程会议服务器，包括：/n接口系统，所述接口系统被配置用于所述远程会议服务器与远程会议客户端位置之间的通信；以及/n控制系统，所述控制系统被配置用于：/n在远程会议期间在两个或更多个远程会议客户端位置之间提供全双工音频连接；/n在所述远程会议期间检测啸叫状态，所述啸叫状态是涉及远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态，其中，检测所述啸叫状态涉及对远程会议音频数据的频谱特性和时间特性两者的分析；以及/n确定哪个客户端位置正在导致所述啸叫状态。/n

【技术特征摘要】
【国外来华专利技术】20171110 EP 17201011.8;20171023 US 62/575,701;20171.一种远程会议服务器，包括：
接口系统，所述接口系统被配置用于所述远程会议服务器与远程会议客户端位置之间的通信；以及
控制系统，所述控制系统被配置用于：
在远程会议期间在两个或更多个远程会议客户端位置之间提供全双工音频连接；
在所述远程会议期间检测啸叫状态，所述啸叫状态是涉及远程会议客户端位置中的两个或更多个远程会议装置的声反馈状态，其中，检测所述啸叫状态涉及对远程会议音频数据的频谱特性和时间特性两者的分析；以及
确定哪个客户端位置正在导致所述啸叫状态。


2.如权利要求1所述的远程会议服务器，其中，所述控制系统被配置用于减轻所述啸叫状态或发送啸叫状态检测消息中的至少一个。


3.如权利要求1或权利要求2所述的远程会议服务器，其中，所述控制系统被配置用于确定哪个客户端装置正在导致所述啸叫状态。


4.如权利要求1至3中任一项所述的远程会议服务器，其中，所述控制系统被配置用于至少部分地基于从所述远程会议客户端位置中的一个或多个远程会议客户端位置接收的远程会议音频数据来检测所述啸叫状态。


5.如权利要求1至4中任一项所述的远程会议服务器，其中，所述控制系统被配置用于：
创建包括从所述远程会议客户端位置接收的远程会议音频数据的远程会议音频数据混合；以及
基于所述远程会议音频数据混合来检测所述啸叫状态。


6.如权利要求5所述的远程会议服务器，其中，所述控制系统被配置用于：
经由所述接口系统从所述远程会议客户端位置接收远程会议元数据；以及
至少部分地基于所述远程会议元数据来确定哪个客户端位置正在导致所述啸叫状态。


7.如权利要求6所述的远程会议服务器，其中，所述远程会议元数据包括语音活动检测元数据、电平元数据或能量元数据中的一个或多个。


8.如权利要求1至7中任一项所述的远程会议服务器，其中，所述控制系统被配置用于根据从所述远程会议客户端位置中的一个或多个远程会议客户端位置接收的远程会议音频数据来估计啸叫存在概率，其中，检测所述啸叫状态至少部分基于所述啸叫存在概率。


9.如权利要求8所述的远程会议服务器，其中，所述啸叫存在概率估计是基于分层规则集或机器学习过程的。

<...

【专利技术属性】
技术研发人员：李凯，D·古纳万，邓峰，房倩倩，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US