System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 音频处理方法、系统芯片和音频处理系统技术方案_技高网

音频处理方法、系统芯片和音频处理系统技术方案

技术编号:43536626 阅读:9 留言:0更新日期:2024-12-03 12:19
本公开提供音频处理方法、系统芯片和音频处理系统。所述音频处理方法包括:获取音频播放数据,并将所述音频播放数据写入第一缓冲器中;将所述第一缓冲器中的所述音频播放数据缓存到第二缓冲器中以作为音频回采数据;将所述第一缓冲器中的所述音频播放数据输出到外部以用于进行播放;获取在所述播放时采集到的音频录音数据,并将所述音频录音数据写入第三缓冲器中;以及基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据。本公开将输出的音频播放内容通过DMA路径回采,无需硬件回采电路,显著降低了整个系统的硬件成本,使得系统更易于扩展和集成于各种应用场景。

【技术实现步骤摘要】

本公开属于音频处理,特别地涉及音频处理方法、系统芯片和音频处理系统


技术介绍

1、目前,在语音助手、自动语音识别(asr,automatic speech recognition)系统、语音控制设备等各个领域应用中,通常依赖硬件adc(analog-to-digital converter,模拟数字转换器)或其他硬件回采方式,这些方法存在较高的硬件成本,比如占用soc(system onchip,系统级芯片)芯片的i2s(inter—ic sound,集成电路内置音频总线)的sdi(serialdigital interface,串行数字接口),或者是限制了系统的可扩展性和广泛应用。

2、详细来讲,现有技术中各种硬件回采方案中存在较多限制和不足:通过硬件adc进行回采,硬件成本比较高,同时因为增加硬件要求硬件指标比较高,可能给系统增加了一定的技术调试难度。通过增加一个soc的pin管脚实现回采,这个只能局限于i2s控制器有多个i2ssdi输入pin管脚,如果只有一个i2ssdi,则该方案不可行。对于soc自带音频编解码器的系统来说,可能需要i2s pin管脚连接到soc外部电路配合adc的方式实现回采,这种方案会增加外部adc,同时soc内部的adc不能使用,造成资源的浪费。


技术实现思路

1、本公开实施例提供音频处理方法、系统芯片和音频处理系统,其能够通过非额外硬件电路方式实现音频回采。

2、第一方面,本公开实施例提供一种音频处理方法。所述音频处理方法包括:获取音频播放数据,并将所述音频播放数据写入第一缓冲器中;将所述第一缓冲器中的所述音频播放数据缓存到第二缓冲器中以作为音频回采数据;将所述第一缓冲器中的所述音频播放数据输出到外部以用于进行播放;获取在所述播放时采集到的音频录音数据,并将所述音频录音数据写入第三缓冲器中;以及基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据。

3、在第一方面的一种实现方式中,基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据包括:根据硬件指针差值将所述音频回采数据和所述音频录音数据对齐并进行数据重组以得到所述音频处理数据。

4、在第一方面的一种实现方式中,根据硬件指针差值将所述音频回采数据和所述音频录音数据对齐并进行数据重组以得到所述音频处理数据包括:根据dma的指针以及音频接口的fifo指针确定播放指针和录音指针;根据所述播放指针和所述录音指针确定所述硬件指针差值;基于所述硬件指针差值确定所述音频回采数据所对应的指针;根据所述音频回采数据所对应的指针,从所述第二缓冲器中取出所述音频回采数据;以及按照预先设置的音频数据声道需求,将所取出的所述音频回采数据和所述音频录音数据逐帧进行数据合并。

5、在第一方面的一种实现方式中,根据dma的指针以及音频接口的fifo指针确定播放指针和录音指针包括:将播放dma指针减去音频接口发送fifo指针,作为所述播放指针;以及将录音dma指针加上音频接口接收fifo指针,作为所述录音指针。

6、在第一方面的一种实现方式中,所述音频处理方法还包括:根据所述音频处理数据对回声进行声学回声消除处理,以生成音频数据。

7、在第一方面的一种实现方式中,所述音频处理方法还包括:根据所述声学回声消除处理的结果将播放背景声滤除,提炼出语音信号;以及利用所提炼的语音信号进行语音识别应用。

8、第二方面,本公开实施例提供一种系统芯片。所述系统芯片包括:第一dma模块,被配置为接收音频播放数据并将所述音频播放数据写入第一缓冲器中,以及将所述第一缓冲器中的所述音频播放数据输出到外部以用于进行播放;数字回采模块,被配置为将所述第一缓冲器中的所述音频播放数据缓存到第二缓冲器中以作为音频回采数据;以及第二dma模块,被配置为接收在所述播放时采集到的音频录音数据,并将所述音频录音数据写入第三缓冲器中,其中所述数字回采模块进一步被配置为基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据。

9、在第二方面的一种实现方式中,所述系统芯片还包括:信号处理模块,被配置为根据所述音频处理数据对回声进行声学回声消除处理,以生成音频数据。

10、在第二方面的一种实现方式中,所述系统芯片还包括:接口模块,被配置为从所述第一dma模块接收所述音频播放数据,并将所述音频播放数据输出到所述系统芯片外部的音频编解码器,以及从所述音频编解码器接收所述音频录音数据,并将所述音频录音数据输出到所述第二dma模块。

11、在第二方面的一种实现方式中,所述数字回采模块由所述系统芯片中包括的中央处理单元实现。

12、第三方面,本公开实施例提供一种音频处理系统。所述音频处理系统包括:所述的系统芯片;音频编解码器,被电耦合到所述系统芯片,并且被配置为针对所述音频播放数据进行解码和数模转换以生成播放信号,以及针对录音信号进行模数转换和编码以生成所述音频录音数据;扬声器,被电耦合到所述音频编解码器,并且被配置为基于所述播放信号进行所述播放;以及麦克风,被电耦合到所述音频编解码器,并且被配置为在所述播放时进行采集以生成所述录音信号。

13、根据本公开所述的音频处理方法、系统芯片和音频处理系统,无需额外硬件电路,而是采用dma回采的方式实现音频回采,显著降低了整个系统的硬件成本以及调试成本。本公开所述的系统更易于扩展和集成于各种应用场景,比如不需要占用i2ssdi pin管脚,可以应用在无i2ssdi的soc系统中。

14、本公开将dma路径回采的回采数据与音频录音数据进行同步合并,利用合并生成的音频数据进行音频处理,进而以较低的硬件成本和较高的语音通信质量应用于语音助手、自动语音识别asr系统及语音控制设备等各个领域。

15、本公开提供的回采数据可以为声学回声消除提供播放路径的参考信号,基于该参考信号,声学回声消除算法能够将录音中的播放背景声滤除干净,提炼出语音信号,用于后续的语音识别。

16、本公开提供给音频算法(声学回声消除算法)的信号是包含了回采信号和mic录音信号的音频数据,得益于精确的参考帧计算,回采帧和实际硬件播放的位置高度对齐,由此可以提高声学回声消除算法的输出效果,并且由于高度对齐,声学回声消除的前处理的参考帧对齐逻辑可以省略,进而节省了算法开销。

本文档来自技高网...

【技术保护点】

1.一种音频处理方法,其特征在于,包括:

2.根据权利要求1所述的音频处理方法,基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据包括:

3.根据权利要求2所述的音频处理方法,其特征在于,根据硬件指针差值将所述音频回采数据和所述音频录音数据对齐并进行数据重组以得到所述音频处理数据包括:

4.根据权利要求3所述的音频处理方法,其特征在于,根据DMA的指针以及音频接口的FIFO指针确定播放指针和录音指针包括:

5.根据权利要求1所述的音频处理方法,其特征在于,还包括:

6.根据权利要求5所述的音频处理方法,其特征在于,还包括:

7.一种系统芯片,其特征在于,包括:

8.根据权利要求7所述的系统芯片,其特征在于,还包括:

9.根据权利要求7所述的系统芯片,其特征在于,还包括:

10.根据权利要求7所述的系统芯片,其特征在于,所述数字回采模块由所述系统芯片中包括的中央处理单元实现。

11.一种音频处理系统,其特征在于,包括:>...

【技术特征摘要】

1.一种音频处理方法,其特征在于,包括:

2.根据权利要求1所述的音频处理方法,基于所述第二缓冲器中的所述音频回采数据和所述第三缓冲器中的所述音频录音数据生成音频处理数据包括:

3.根据权利要求2所述的音频处理方法,其特征在于,根据硬件指针差值将所述音频回采数据和所述音频录音数据对齐并进行数据重组以得到所述音频处理数据包括:

4.根据权利要求3所述的音频处理方法,其特征在于,根据dma的指针以及音频接口的fifo指针确定播放指针和录音指针包括:

<...

【专利技术属性】
技术研发人员:张学广罗肖谭金宁党郑兴
申请(专利权)人:瑞芯微电子股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1