音频输出方法、设备及存储介质技术

本申请实施例提供一种音频输出方法、设备及存储介质，涉及音频处理技术领域。在本申请方案中，结合屏幕发声单元面向用户发声，声音直达用户的优点，以及扬声器在各个频段的频响较为平整的优点，利用AI方法对音源内容进行特定对象分离及提取，根据分离出的对象音频分布特点，为每个对象设定播放形式，比如采用屏幕发声单元进行人声回放，再比如根据屏幕发声单元和扬声器的方位对鸟声进行动态回放，从而提升了声场渲染效果。升了声场渲染效果。升了声场渲染效果。

【技术实现步骤摘要】
音频输出方法、设备及存储介质


[0001]本申请涉及音频处理
，尤其涉及一种音频输出方法、设备及存储介质。

技术介绍

[0002]目前，越来越多的智能终端采用屏幕发声技术，替代了在屏幕上开孔设置的听筒，用来提高智能终端的屏占比。如图1所示，在智能终端的屏幕11和中框13之间设置有激励器12，以屏幕11作为振动体，激励器12驱动屏幕11振动，产生声波，当人耳贴近屏幕11时声波传送到人耳，从而听到通话声音等。
[0003]受到整机工艺等因素的限制，某些激励器在一些频段的音频播放效果不佳。例如，图2示出了一款压电陶瓷激励器在语音范围的各个频段的频响，可以发现，压电陶瓷激励器在低频时声压等级(source pressure level)较小，即频响在低频时衰减较快，失真大，从而针对低频声音，用户无法获得良好的听感。
[0004]对于重放音乐或电影等低频声音较多的场景，仍可以采用传统的扬声器播放声音。但是，传统的扬声器通常设置在智能终端的侧边框上，扬声器的朝向使得形成的声像在屏幕中心发虚，清晰度下降。因此，如何提升声场的渲染效果成为亟待解决的技术问题。

技术实现思路

[0005]本申请提供一种音频输出方法、设备及存储介质，通过分析音源内容，为不同的音源对象，选择屏幕发声单元和/或扬声器进行播放，提升了声场的渲染效果。
[0006]为达到上述目的，本申请采用如下技术方案：
[0007]第一方面，本申请实施例提供一种音频输出方法。该方法可以应用于电子设备，包括：将原始音频信号输入神经网络模型，进行对象信号识别和提取，神经网络模型为根据不同频率的信号训练得到的；根据识别和提取结果，驱动电子设备的音频单元输出与识别和提取结果对应的声音。其中，音频单元包括屏幕发声单元和/或扬声器，不同的识别和提取结果包含不同频率的信号，不同频率的信号对应不同的音频单元。
[0008]应理解，由于屏幕发声单元具备面向用户发声，声音直达用户的优点，扬声器具备在各个频段的频响较为平整的优点，因此本申请利用神经网络模型对音源内容进行特定对象分离及提取，可以根据分离出的对象音频分布特点，为每个对象设定与之对应的播放形式，从而提升了声场渲染效果。
[0009]在一种可能的实现方式中，上述原始音频信号为音频应用提供的、尚未进行对象信号识别和提取的音频信号，比如歌曲、电影声、通话声和游戏特效等原始的音频信号。在一些实施例中，原始音频信号为立体声信号，例如，立体声信号可以包括左声道信号和右声道信号，立体声信号还可以包括中置声道信号、左环绕声道信号和/或右环绕声道信号等。
[0010]在一种可能的实现方式中，电子设备的扬声器包括第一扬声器和第二扬声器，第一扬声器和第二扬声器设置在电子设备的两个侧边框上。比如，第一扬声器和第二扬声器设置在两个相背的侧边框上。再比如，第一扬声器和第二扬声器设置在两个相邻的侧边框
上。
[0011]在一种可能的实现方式中，屏幕发声单元包括设置在屏幕背面的至少一个激励器。屏幕发声单元用于基于屏幕发声技术，通过激励器驱动屏幕振动发声。在一些实施例中，屏幕发声单元在目标频段的声压等级值大于或等于预设值的频段，即，屏幕发声单元在目标频段表现较好。
[0012]在一种可能的实现方式中，对原始对象信号的识别和提取结果可以分为下述几种情况：
[0013]情况1，第一对象信号和第一背景声信号。其中，第一对象信号的能量集中在目标频段内，比如第一对象信号是人声、钢琴声、萨克斯声和竖琴中低频信号。第一背景声信号是原始对象信号中除第一对象信号外的信号。
[0014]情况2，第二对象信号和第二背景声信号。其中，第二对象信号的能量集中在除目标频段外的频段。比如第二对象信号是风声、水滴声、海水声、风铃声和走路声等低频声音，或者唢呐声和电钻声等高频声音，或者行驶中的汽车鸣笛声、火车鸣笛声或拖拉机发动机声等各个声道的能量随时间动态变化的信号。第二背景声信号是原始对象信号中除第二对象信号外的信号。
[0015]情况3，第三背景声信号，即电子设备没有从原始对象信号识别和提取到预设的对象信号。
[0016]情况4，第三对象信号和第四背景声信号。其中，第三对象信号的能量在各个频段均匀分布。比如在交响乐合奏中，由不同乐器发出的声音在低频、中频和高频均匀分布。针对情况4，电子设备可以按照与第一对象信号和第一背景声信对应的音频输出方式，播放声音；或者，电子设备可以按照与第二对象信号和第二背景声信对应的音频输出方式，播放声音。
[0017]在一种可能的实现方式中，根据识别和提取结果，驱动电子设备的音频单元输出与识别和提取结果对应的声音，包括：在识别和提取结果为第一对象信号和第一背景声信号的情况下，通过屏幕发声单元驱动电子设备的屏幕振动，产生与第一对象信号对应的声音；以及通过扬声器输出与第一背景声信号对应的声音。
[0018]应理解，由于屏幕发声单元在目标频段的表现力较好，因此当第一对象信号的能量集中目标频段内时，采用屏幕发声单元进行声音回放，可以获得较好的声场渲染效果。
[0019]在一种可能的实现方式中，根据识别和提取结果，驱动电子设备的音频单元输出与识别和提取结果对应的声音，包括：在识别和提取结果为第二对象信号和第二背景声信号的情况下，根据第二对象信号的各个信道的能量，驱动屏幕发声单元和扬声器按照各自对应的增益，输出与第二对象信号对应的声音；以及通过扬声器输出与第二背景声信号对应的声音。
[0020]应理解，当第二对象信号的能量集中在除目标频段外的其他频段时，基于屏幕发声单元面向用户发声，声音直达用户的优点，以及扬声器在各个频段的频响较为平整的优点，控制扬声器和屏幕发声单元采用不同增益联合发声，可以获得较好的声场渲染效果。
[0021]在一种可能的实现方式中，第二对象信号包括左声道信号和右声道信号。相应地，根据第二对象信号的各个信道的能量，驱动屏幕发声单元和扬声器按照各自对应的增益，输出与第二对象信号对应的声音，包括：
[0022]在第二对象信号的左声道信号的能量和第二对象信号的右声道信号的能量满足第一条件的情况下，控制第一扬声器按照第一增益，输出与第二对象信号的左声道信号对应的声音；以及控制屏幕发声单元按照第二增益驱动屏幕振动，产生与第二对象信号的左声道信号和右声道信号对应的声音；或者，
[0023]在第二对象信号的左声道信号的能量和第二对象信号的右声道信号的能量满足第二条件的情况下，控制第一扬声器按照第一增益，输出与第二对象信号的左声道信号对应的声音；控制屏幕发声单元按照第二增益驱动屏幕振动，产生与第二对象信号的左声道信号和右声道信号对应的声音；以及控制第二扬声器按照第三增益，输出与第二对象信号的右声道信号对应的声音；或者，
[0024]在第二对象信号的左声道信号的能量和第二对象信号的右声道信号的能量满足第三条件的情况下，控制第二扬声器按照第三增益，输出与第二对象信号的右声道信号对应的声音；以及控制屏幕发声单元按照第二增益本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频输出方法，其特征在于，所述方法包括：将原始音频信号输入神经网络模型，进行对象信号识别和提取，所述神经网络模型为根据不同频率的信号训练得到的；根据识别和提取结果，驱动电子设备的音频单元输出与所述识别和提取结果对应的声音；其中，所述音频单元包括屏幕发声单元和/或扬声器；不同的识别和提取结果包含不同频率的信号，不同频率的信号对应不同的音频单元。2.根据权利要求1所述的方法，其特征在于，所述屏幕发声单元在目标频段内的声压等级值大于或等于预设值；所述根据识别和提取结果，驱动电子设备的音频单元输出与所述识别和提取结果对应的声音，包括：在所述识别和提取结果为第一对象信号和第一背景声信号的情况下，通过所述屏幕发声单元驱动所述电子设备的屏幕振动，产生与所述第一对象信号对应的声音；以及通过所述扬声器输出与所述第一背景声信号对应的声音；其中，所述第一对象信号的能量集中在所述目标频段内。3.根据权利要求1所述的方法，其特征在于，所述屏幕发声单元在目标频段内的声压等级值大于或等于预设值；所述根据识别和提取结果，驱动电子设备的音频单元输出与所述识别和提取结果对应的声音，包括：在所述识别和提取结果为第二对象信号和第二背景声信号的情况下，根据所述第二对象信号的各个信道的能量，驱动所述屏幕发声单元和所述扬声器按照各自对应的增益，输出与所述第二对象信号对应的声音；以及通过所述扬声器输出与所述第二背景声信号对应的声音；其中，所述第二对象信号的能量集中在除所述目标频段外的频段。4.根据权利要求3所述的方法，其特征在于，所述第二对象信号包括左声道信号和右声道信号；所述扬声器包括第一扬声器和第二扬声器，所述第一扬声器和所述第二扬声器设置在所述电子设备的两个侧边框上；所述根据所述第二对象信号的各个信道的能量，驱动所述屏幕发声单元和所述扬声器按照各自对应的增益，输出与所述第二对象信号对应的声音，包括：在所述第二对象信号的左声道信号的能量和所述第二对象信号的右声道信号的能量满足第一条件的情况下，控制所述第一扬声器按照第一增益，输出与所述第二对象信号的左声道信号对应的声音；以及控制所述屏幕发声单元按照第二增益驱动所述屏幕振动，产生与所述第二对象信号的左声道信号和右声道信号对应的声音；或者，在所述第二对象信号的左声道信号的能量和所述第二对象信号的右声道信号的能量满足第二条件的情况下，控制所述第一扬声器按照第一增益，输出与所述第二对象信号的左声道信号对应的声音；控制所述屏幕发声单元按照第二增益驱动所述屏幕振动，产生与所述第二对象信号的左声道信号和右声道信号对应的声音；以及控制所述第二扬声器按照第三增益，输出与所述第二对象信号的右声道信号对应的声音；或者，在所述第二对象信号的左声道信号的能量和所述第二对象信号的右声道信号的能量
满足第三条件的情况下，控制所述第二扬声器按照第三增益，输出与所述第二对象信号的右声道信号对应的声音；以及控制所述屏幕发声单元按照第二增益驱动所述屏幕振动，产生与所述第二对象信号的左声道信号和右声道信号对应的声音。5.根据权利要求4所述的方法，其特征在于，所述第一条件为：所述第二对象信号的左声道信号的能量大于所述第二对象信号的右声道信号的能量；所述第二条件为：所述第二对象信号的左声道信号的能量等于所述第二对象信号的右声道信号的能量；所述第三条件为：所述第二对象信号的左声道信号的能量小于所述第二对象信号的右声道信号的能量。6.根据权利要求4所述的方法，其特征在于，所述第一条件为：α∈[
‑
1，0.5)；所述第二条件为：α∈[
‑
0.5，0.5)；所述第三条件为：α∈[0.5，1]；其中，Rb用于表示所述第二对象信号的右声道信号的能量，Lb用于表示所述第二对象信号的左声道信号的能量。7.根据权利要求6所述的方法，其特征在于，所述第一增益根据关系式g1(i)＝|α|*g1(i
‑
1)计算得到，g1(i)为在将第i个分帧信号的左声道信号作为所述第一扬声器的输入信号时的增益，g1(i
‑
1)为在将第i
‑
1个分帧信号的左声道信号作为所述第一扬声器的输入信号时的增益；所述第二增益根据关系式g2(i)＝(1
‑
|α|)*g2(i
‑
1)计算得到，g2(i)为在将所述第i个分帧信号的左声道信号和右声道信号作为所述屏幕发声单元的输入信号时的增益，g2(i
‑
1)为在将所述第i
‑
1个分帧信号的左声道信号和右声道信号作为所述屏幕发声单元的输入信号时的增益；所述第三增益根据关系式g3(i)＝|α|*g3(i
‑
1)计算得到，g3(i)为在将所述第i个分帧信号的右声...

【专利技术属性】
技术研发人员：胡贝贝，夏日升，许剑峰，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：