音频增强方法、装置、存储介质及可穿戴设备制造方法及图纸

本申请实施例公开了一种音频增强方法、装置、存储介质及可穿戴设备，其中，通过骨传导麦克风采集得到第一音频信号，以及同步通过非骨传导麦克风采集得到第二音频信号；若根据第一音频信号检测到穿戴者发音，则将穿戴者的发音作为增强对象，对第一音频信号进行增强处理，相应得到穿戴者的发音增强信号；若根据第一音频信号检测到穿戴者未发音，则将穿戴者所处现实环境的环境音作为增强对象，对第二音频信号进行增强处理，相应得到穿戴者所处现实环境的环境音增强信号。由此，本申请通过在可穿戴设备设置骨传导麦克风和非骨传导麦克风，利用骨传导麦克风的音频采集结果动态地确定音频增强对象，灵活的进行音频增强处理。

Audio enhancement method, device, storage medium and wearable device

【技术实现步骤摘要】
音频增强方法、装置、存储介质及可穿戴设备
本申请涉及音频处理
，具体涉及一种音频增强方法、装置、存储介质及可穿戴设备。
技术介绍
目前，如智能眼镜、智能头盔等可穿戴设备已逐渐进入人们生活之中。通过在可穿戴设备安装不同的应用，使得可穿戴设备能够实现各种各样的功能。比如，通过在可穿戴设备安装具备音频采集能力的应用，然后结合可穿戴设备自身配置的音频采集硬件(比如麦克风)向用户提供音频采集功能。然而，相关技术在进行音频采集时，存在音频增强灵活性较差的问题。
技术实现思路
本申请实施例提供了一种音频增强方法、装置、存储介质及可穿戴设备，能够提高可穿戴设备进行音频增强的灵活性。第一方面，本申请实施例提供一种音频增强方法，应用于可穿戴设备，所述可穿戴设备包括骨传导麦克风和非骨传导麦克风，所述音频增强方法包括：通过所述骨传导麦克风采集得到第一音频信号，以及同步通过所述非骨传导麦克风采集得到第二音频信号；在根据所述第一音频信号检测到所述穿戴者发音时，对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号；在根据所述第一音频信号检测到所述穿戴者未发音时，对所述第二音频信号进行增强处理，得到所述穿戴者所处现实环境的环境音增强信号。第二方面，本申请实施例提供一种音频增强装置，应用于可穿戴设备，所述可穿戴设备包括骨传导麦克风和非骨传导麦克风，所述音频增强装置包括：音频采集模块，用于通过所述骨传导麦克风采集得到第一音频信号，以及同步通过所述非骨传导麦克风采集得到第二音频信号；>发音增强模块，用于在根据所述第一音频信号检测到所述穿戴者发音时，对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号；环境音增强模块，用于在根据所述第一音频信号检测到所述穿戴者未发音时，对所述第二音频信号进行增强处理，得到所述穿戴者所处现实环境的环境音增强信号。第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序被包括骨传导麦克风和非骨传导麦克风的可穿戴设备加载时执行本申请实施例提供的音频增强方法。第四方面，本申请实施例还提供一种可穿戴设备，所述可穿戴设备包括骨传导麦克风、非骨传导麦克风、处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序执行本申请实施例提供的音频增强方法。本申请实施例中，通过骨传导麦克风采集得到第一音频信号，以及同步通过非骨传导麦克风采集得到第二音频信号；根据第一音频信号检测可穿戴设备的穿戴者是否发音；若根据第一音频信号检测到穿戴者发音，则将穿戴者的发音作为增强对象，对第一音频信号进行增强处理，相应得到穿戴者的发音增强信号；若根据第一音频信号检测到穿戴者未发音，则将穿戴者所处现实环境的环境音作为增强对象，对第二音频信号进行增强处理，相应得到穿戴者所处现实环境的环境音增强信号。由此，本申请通过在可穿戴设备设置骨传导麦克风和非骨传导麦克风，利用骨传导麦克风的音频采集结果动态地确定音频增强对象，灵活的进行音频增强处理。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的音频增强方法的一流程示意图。图2是本申请实施例中可穿戴设备实体展现形式为智能眼镜时骨传导麦克风和非骨传导麦克风的设置位置示意图。图3是图2中智能眼镜的穿戴示意图。图4是本申请实施例中对第一音频信号进行增强处理的一示意图。图5是本申请实施例中对第一音频信号进行增强处理的另一示意图。图6是本申请实施例中可穿戴设备实体展现形式为智能眼镜时多个非骨传导麦克风的设置位置示意图。图7是本申请实施例中预测现实环境中声源方向的示意图。图8是本申请实施例中可穿戴设备实体展现形式为智能眼镜时摄像模组的设置位置示意图。图9是本申请实施例提供的音频增强方法的另一流程示意图。图10是本申请实施例提供的音频增强装置的结构示意图。图11是本申请实施例提供的可穿戴设备的结构示意图。具体实施方式请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。应当说明的是，本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个实体或者操作与另一个实体或者操作区分开来，并不用于限定这些实体或操作之间存在着实际的顺序关系。相关技术中，如智能眼镜、智能头盔为了能够更好的对用户的声音进行增强，在设计阶段，需要对用户和麦克风的位置进行设计和测量，将用户嘴巴的位置和麦克风的位置相对固定下来。之后，进一步利用嘴巴和麦克风的相对位置，调整算法上的参数，使得麦克风对用户的声音有良好的增强效果，同时对环境噪音有良好的抑制效果。然而，相关技术中，可穿戴设备只针对用户的声音进行增强，而对其他声音进行了抑制，当用户想要采集非本人的声音时，这些声音会被当成噪音抑制。为此，本申请提供一种音频增强方法、音频增强装置、存储介质以及可穿戴设备，该音频增强方法的执行主体可以是本申请实施例提供的音频增强装置，或者集成了该音频增强装置的可穿戴设备，其中音频增强装置可以采用硬件或软件的方式实现。应当说明的是，本申请实施例对可穿戴设备的实体展现形式不做具体限制，比如，可穿戴设备的实体展现形式可以为智能眼镜、智能头盔等。请参照图1，图1为本申请实施例提供的音频增强方法的流程示意图。以下以音频增强方法的执行主体为本申请提供的可穿戴设备为例进行说明，该可穿戴设备包括骨传导麦克风和非骨传导麦克风。如图1所示，本申请实施例提供的音频增强方法的流程可以如下：在101中，通过骨传导麦克风采集得到第一音频信号，以及同步通过非骨传导麦克风采集得到第二音频信号。应当说明的是，声音的传播介质包括固体、液体和空气，声音骨传导属于声波的固体传导。骨传导是个很常见的生理现象，比如我们听到咀嚼食物的声音，就是通过颌骨传递到内耳的。而用户在发音时，通过发音器官产生振动，进而通过骨头、肌肉和皮肤等身体组织传导至其他部位，比如鼻梁、耳骨等部位。利用此种原理，骨传导麦克风能够将用户发音所造成身体部位的振动转换为声音信号，从而还原出用户发出的声音。本申请实施例中，可穿戴设备包括骨传导麦克风和非骨传导麦克风。其中，非骨传导麦克风包括以声音空气传播和/或液体传播为原理进行音频采集的任意类型的麦克风，包括但不限于电动式、电容式、压电式、电磁式、碳粒式以及半导体式等类型麦克风。示例性的，请参照图2，以可穿戴设备的实体展现形式为智能眼镜为例，其中非骨传导麦克风设置在镜腿靠近镜框的一端，骨传导麦克风设置在镜腿原理镜框的一端。请参照图3，当该智能眼镜处于穿戴状态时，骨传导麦克风本文档来自技高网...

【技术保护点】
1.一种音频增强方法，应用于可穿戴设备，其特征在于，所述可穿戴设备包括骨传导麦克风和非骨传导麦克风，所述音频增强方法包括：/n通过所述骨传导麦克风采集得到第一音频信号，以及同步通过所述非骨传导麦克风采集得到第二音频信号；/n在根据所述第一音频信号检测到所述穿戴者发音时，对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号；/n在根据所述第一音频信号检测到所述穿戴者未发音时，对所述第二音频信号进行增强处理，得到所述穿戴者所处现实环境的环境音增强信号。/n

【技术特征摘要】
1.一种音频增强方法，应用于可穿戴设备，其特征在于，所述可穿戴设备包括骨传导麦克风和非骨传导麦克风，所述音频增强方法包括：
通过所述骨传导麦克风采集得到第一音频信号，以及同步通过所述非骨传导麦克风采集得到第二音频信号；
在根据所述第一音频信号检测到所述穿戴者发音时，对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号；
在根据所述第一音频信号检测到所述穿戴者未发音时，对所述第二音频信号进行增强处理，得到所述穿戴者所处现实环境的环境音增强信号。


2.根据权利要求1所述的音频增强方法，所述对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号，包括：
获取所述穿戴者在所述第一音频信号采集之前的历史骨传导噪声信号；
根据所述历史骨传导噪声信号获取所述穿戴者在所述第一音频信号采集期间的骨传导噪声信号；
将所述骨传导噪声信号与所述第一音频信号进行反相位叠加，得到所述发音增强信号。


3.根据权利要求2所述的音频增强方法，其特征在于，所述根据所述历史骨传导噪声信号获取所述穿戴者在所述第一音频信号采集期间的骨传导噪声信号，包括：
根据所述历史骨传导噪声信号进行模型训练，得到对应所述穿戴者的噪声预测模型；
根据所述噪声预测模型预测所述第一音频信号采集期间的骨传导噪声信号。


4.根据权利要求1所述的音频增强方法，其特征在于，所述对所述第一音频信号进行增强处理，得到所述穿戴者的发音增强信号，包括：
通过预训练的发音增强模型对所述第一音频信号进行发音增强处理，得到所述发音增强信号。


5.根据权利要求1所述的音频增强方法，其特征在于，所述非骨传导麦克风为多个，所述对所述第二音频信号进行增强处理，得到所述穿戴者所处现实环境的环境音增强信号，包括：
根据所述多个非骨传导麦克风采集到的多个第二音频信号，对所述现实环境的声源方向进行预测；
根据所述声源方向对所述第二音频信号进行波束形成处理，得到所述环境音增强信号。


6.根据权利要求1所述的音频增强方法，其特征在于，还包括：
提取所述第一音频信号的频谱特征；
通过预训练的发音检测模型对所述频谱特征进行发音检测，得到所述穿戴者是否发音的检测结果。

【专利技术属性】
技术研发人员：林贻鸿，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44