通话音频的处理方法、装置、设备、介质及程序产品制造方法及图纸

本申请实施例公开了一种通话音频的处理方法、装置、设备、介质及程序产品，属于空间音频技术领域。该方法包括：第一终端通过至少两个麦克风实时采集用户通话时的人声，得到至少两路通话音频；基于至少两路通话音频生成空间音频数据，空间音频数据是指用户在空间中的实时位置信息的音频数据；将空间音频数据发送至第二终端。该方法实现了在实时视频通话过程中，一端终端播放来自另一端的通话音频时，对原通话音频所处空间场的还原。原通话音频所处空间场的还原。原通话音频所处空间场的还原。

【技术实现步骤摘要】
通话音频的处理方法、装置、设备、介质及程序产品


[0001]本申请实施例涉及空间音频
，特别涉及一种通话音频的处理方法、装置、设备、介质及程序产品。

技术介绍

[0002]如今，实时视频通话技术在人们的生活与工作中被广泛地应用，比如其可以应用于在线医疗、视频会议、社交娱乐、在线教育、以及在线金融等各类场景。
[0003]在实时视频通话场景中，对于通话音频的处理，是由通话一方的终端通过麦克风采集用户的通话音频，对声音信号编码处理后，将编码得到的音频数据发送至通话另一方的终端上；通话另一方的终端在接收到上述音频数据之后，对音频数据解码得到用户的通话音频，通过扬声器对通话音频进行播放。
[0004]而通话音频一般只是传递通话时用户的言语表达的信息。

技术实现思路

[0005]本申请实施例提供了一种通话音频的处理方法、装置、设备、介质及程序产品。所述技术方案如下：
[0006]根据本申请的一方面内容，提供了一种通话音频的处理方法，所述方法由第一终端执行，所述第一终端的至少两个麦克风设置于不同位置上，所述方法包括：
[0007]通过所述至少两个麦克风实时采集用户通话时的人声，得到至少两路通话音频；
[0008]基于所述至少两路通话音频生成空间音频数据，所述空间音频数据是指包含用户在空间中的实时位置信息的音频数据；
[0009]将所述空间音频数据发送至第二终端，所述第二终端与所述第一终端是处于同一实时通话的用户设备。
[0010]根据本申请的另一方面内容，提供了一种通话音频的处理方法，所述方法由第二终端执行，所述第二终端的至少两个扬声器设置于不同位置上，所述方法包括：
[0011]接收第一终端发送的空间音频数据，所述空间音频数据包含用户在空间中的实时位置信息与所述用户的通话音频，所述通话音频是采集用户通话时的人声得到的，所述第一终端与所述第二终端是处于同一实时通话的用户设备；
[0012]基于所述空间音频数据，生成与所述至少两个扬声器对应的至少两声道的空间音频；
[0013]通过所述至少两个扬声器播放所述至少两声道的空间音频。
[0014]根据本申请的另一方面内容，提供了一种通话音频的处理装置，所述装置设置于第一终端中，所述第一终端的至少两个麦克风设置于不同位置上，所述装置包括：
[0015]采集模块，用于通过所述至少两个麦克风实时采集用户通话时的人声，得到至少两路通话音频；
[0016]生成模块，用于基于所述至少两路通话音频生成空间音频数据，所述空间音频数
据是指包含用户在空间中的实时位置信息的音频数据；
[0017]发送模块，用于将所述空间音频数据发送至第二终端，所述第二终端与所述第一终端是处于同一实时通话的用户设备。
[0018]根据本申请的另一方面内容，提供了一种通话音频的处理装置，所述装置设置于第二终端中，所述第二终端的至少两个扬声器设置于不同位置上，所述装置包括：
[0019]接收模块，用于接收第一终端发送的空间音频数据，所述空间音频数据包含用户在空间中的实时位置信息与所述用户的通话音频，所述通话音频是采集用户通话时的人声得到的，所述第一终端与所述第二终端是处于同一实时通话的用户设备；
[0020]生成模块，用于基于所述空间音频数据，生成与所述至少两个扬声器对应的至少两声道的空间音频；
[0021]播放模块，用于通过所述至少两个扬声器播放所述至少两声道的空间音频。
[0022]根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器、与所述处理器相连的存储器，所述存储器上存储有程序指令，所述处理器执行所述程序指令时实现如本申请各个方面提供的通话音频的处理方法。
[0023]根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时实现如本申请各个方面提供的通话音频的处理方法。
[0024]根据本申请的另一方面内容，提供了一种计算机程序产品(或计算机程序)，所述计算机程序产品(或计算机程序)包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述通话音频的处理方法的各种可选实现方式中提供的方法。
[0025]根据本申请的另一个方面内容，提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时，用于实现如本申请各个方面提供的通话音频的处理方法。
[0026]本申请实施例提供的技术方案带来的有益效果可以包括：
[0027]上述通话音频的处理方法中，由实时通话中的第一终端通过至少两个麦克风来采集用户通话时的人声，得到至少两路通话音频，其中至少两个麦克风设置在不同的已知位置上，因此第一终端可以基于上述至少两路通话音频确定出用户在空间的实时位置信息，从而生成包含用户的实时位置信息的空间音频数据，将这一空间音频数据发送至处于同一实时通话中的第二终端，由第二终端基于空间音频数据再现空间音频场，使得第二终端的用户可以感受到用户相对于第一终端的空间位置。
附图说明
[0028]为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1示出了本申请一个示例性实施例提供的通信系统的示意图；
[0030]图2示出了本申请一个示例性实施例提供的音频通话场景的示意图；
[0031]图3示出了本申请一个示例性实施例提供的通话音频的处理方法的流程图；
[0032]图4示出了本申请另一个示例性实施例提供的通话音频的处理方法的流程图；
[0033]图5示出了本申请另一个示例性实施例提供的通话音频的处理方法的流程示意图；
[0034]图6示出了本申请另一个示例性实施例提供的通话音频的处理方法的流程图；
[0035]图7示出了本申请另一个示例性实施例提供的通话音频的处理方法的流程图；
[0036]图8示出了本申请另一个示例性实施例提供的通话音频的处理方法的流程图；
[0037]图9示出了本申请一个示例性实施例提供的通话音频的处理装置的框图；
[0038]图10示出了本申请另一个示例性实施例提供的通话音频的处理装置的框图；
[0039]图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
[0040]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0041]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通话音频的处理方法，其特征在于，所述方法由第一终端执行，所述第一终端的至少两个麦克风设置于不同位置上，所述方法包括：通过所述至少两个麦克风实时采集用户通话时的人声，得到至少两路通话音频；基于所述至少两路通话音频生成空间音频数据，所述空间音频数据是指包含用户在空间中的实时位置信息的音频数据；将所述空间音频数据发送至第二终端，所述第二终端与所述第一终端是处于同一实时通话的用户设备。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少两路通话音频生成空间音频数据，包括：基于所述至少两路通话音频，确定所述用户在空间中相对于所述第一终端的所述实时位置信息；以及将所述至少两路通话音频转换成至少两声道的音频信号；基于所述实时位置信息与所述至少两声道的音频信号，生成所述空间音频数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述至少两路通话音频，确定所述用户在空间中相对于所述第一终端的所述实时位置信息，包括：基于第一时刻上的所述至少两路通话音频，确定所述用户在所述第一时刻上相对于所述第一终端的第一实时位置信息；所述基于所述实时位置信息与所述至少两声道的音频信号，生成所述空间音频数据，包括：响应于所述第一实时位置信息与第二实时位置信息不同，生成包含所述至少两声道的音频信号与所述第一实时位置信息的第一空间音频数据；其中，所述第二实时位置信息是所述用户在第二时刻上相对于所述第一终端的实时位置信息，所述第二时刻是所述第一时刻的上一时刻。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于所述第一实时位置信息与所述第二实时位置信息相同，生成包含所述至少两声道的音频信号的第二空间音频数据，所述第二空间音频数据用于指示所述第二终端采用所述第二时刻上的所述第二实时位置信息渲染生成空间音频。5.根据权利要求1至4任一所述的方法，其特征在于，所述实时位置信息包括所述用户相对于所述第一终端的距离信息与方向信息中至少一项。6.根据权利要求1至4任一所述的方法，其特征在于，所述至少两个麦克风为至少两个内置麦克风；所述通过所述至少两个麦克风实时采集用户通话时的人声，得到至少两路通话音频，包括：在所述至少两个内置麦克风已开启录音功能的情况下，通过所述至少两个内置麦克风实时采集用户通话时的人声，得到所述至少两路通话音频。7.根据权利要求5所述的方法，其特征在于，所述第一终端还连接有至少一个外置麦克风；所述方法还包括：在所述至少一个外置麦克风与所述至少两个内置麦克风均已开启录音功能的情况下，
通过所述至少一个外置麦克风实时采集用户通话时的人声，得到至少一路通话音频；以及通过所述至少两个内置麦克风实时采集用户通话时的人声，得到所述至少两路通话音频；其中，所述至少一路通话音频是与所述至少两路通话音频同一时刻采集得到的通话音频；基于所述至少两路通话音频，确定所述用户在空间中相对于所述第一终端的所述实时位置信息；基于所述至少一路通话音频与所述实时位置信息，生成所述空间音频数据；将所述空间音频数据发送至第二终端。8.一种通话音频的处理方法，其特征在于，所述方法由第二终端执行，所述第二终端的至少两个扬声器设置于不同位置上，所述方法包括：接收第一终端发送的空间音频数据，所述空间音频数据包含用户在空间中的实时位置信...

【专利技术属性】
技术研发人员：马浩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：