语音处理方法、装置、可读介质及电子设备制造方法及图纸

本公开涉及一种语音处理方法、装置、可读介质及电子设备，包括：接收用户输入的待处理语音信息，并确定与待处理语音信息对应的目标曲谱信息；提取待处理语音信息中的待处理频谱数据；根据待处理频谱数据和目标曲谱信息得到修正后的目标频谱数据；根据目标频谱数据通过声码器合成得到调音后的目标语音。通过上述技术方案，能够通过对用户所输入的目标语音信息中的目标频谱信息进行修正的方式对该目标语音信息进行调音，无需额外的硬件开销，也无需进行任何信号处理层面的修音，避免了出现音差较大的情况下，调音后的声音失真、或者听感很差的问题，改善了修音效果，且减少了修音成本。

【技术实现步骤摘要】
语音处理方法、装置、可读介质及电子设备
本公开涉及语音合成
，具体地，涉及一种语音处理方法、装置、可读介质及电子设备。
技术介绍
在现有技术中，在用户演唱的歌曲的音高或者节奏与原唱歌曲有差异时，通常只能通过硬件调整(例如声卡)或者信号处理的方式来将用户演唱歌曲的音高或者节奏尽可能修正至与原唱歌曲的信号相近。这样的处理方式首先需要较高的成本，例如需要购置声卡，另外，仅仅根据原唱的声音信号来对用户演唱歌曲的声音信号还容易出现音差较大的情况下，调音后的声音失真、或者听感很差的问题。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种语音处理方法，所述方法包括：接收用户输入的待处理语音信息，并确定与所述待处理语音信息对应的目标曲谱信息；提取所述待处理语音信息中的待处理频谱数据；根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据；根据所述目标频谱数据通过声码器合成得到调音后的目标语音。第二方面，本公开还提供一种语音处理装置，所述装置包括：接收模块，用于接收用户输入的待处理语音信息，并确定与所述待处理语音信息对应的目标曲谱信息；提取模块，用于提取所述待处理语音信息中的待处理频谱数据；转换模块，用于根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据；合成模块，用于根据所述目标频谱数据通过声码器合成得到调音后的目标语音。第三方面，本公开还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。第四方面，本公开还提供一种电子设备，包括：存储装置，其上存储有一个或多个计算机程序；一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现第一方面所述方法的步骤。通过上述技术方案，能够通过对用户所输入的目标语音信息中的目标频谱信息进行修正的方式对该目标语音信息进行调音，无需额外的硬件开销，也无需进行任何信号处理层面的修音，避免了出现音差较大的情况下，调音后的声音失真、或者听感很差的问题，改善了修音效果，且减少了修音成本。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据本公开一示例性实施例示出的一种语音处理方法的流程图。图2是根据本公开又一示例性实施例示出的一种语音处理方法的流程图。图3是根据本公开又一示例性实施例示出的一种语音处理方法中预设神经网络模型的训练方法的流程图。图4是根据本公开又一示例性实施例示出的一种语音处理方法的流程图。图5是根据本公开一示例性实施例示出的一种语音处理装置的结构框图。图6示出了适于用来实现本公开实施例的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。图1是根据本公开一示例性实施例示出的一种语音处理方法的流程图。如图1所示，所述方法包括步骤101至步骤104。在步骤101中，接收用户输入的待处理语音信息，并确定与所述待处理语音信息对应的目标曲谱信息。与该待处理语音信息对应的目标曲谱信息为预先就已经设置好的，用户在输入该待处理语音信息时，便可确定该待处理语音信息所对应的歌曲模板，每个歌曲模板都有其对应的预设好的曲谱信息，该曲谱信息可以为是直接从本地获取，也可以是从其他数据库中获取得到。该曲谱信息中包括例如midi信息、装饰音等数据。因此，在接收到该待处理语音信息的情况下，便可以确定与该待处理语音信息对应的目标曲谱信息。在步骤102中，提取所述待处理语音信息中的待处理频谱数据。该待处理频谱数据可以为例如梅尔频谱(MelBankFeatures)。在步骤103中，根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据。在提取得到该待处理频谱数据之后，根据该目标曲谱信息对该待处理频谱进行修正，从而得到修正后的与该目标曲谱信息对应的目标频谱数据。在步骤104中，根据所述目标频谱数据通过声码器合成得到调音后的目标语音。在得到该目标频谱数据之后，通过声码器来对调音后的目标语音进行合成。其中，在一种可能的实施方式中，该声码器可以为预设神经网络声码器，例如WaveNet声码器。在得到该目标语音的情况下，便可根据实际情况将该目标语音与对应的伴奏模板合成之后作为完整的修音后的歌曲。通过上述技术方案，能够通过对用户所输入的目标语音信息中的目标频谱信息进行修正的方式对该目标语音信息进行调音，无需额外的硬件开销，也无需进行任何信号处理层面的修音，避免了出现音差较大的情况下，调音后的声音失真、或者听感很差的问题，改善了修音效果，且减少了修音成本。图2是根据本公开又一示例性实施例示出的一种语音处理方法的流程图。如图2所示，所述方法除了包括图1中所示的步骤101、步骤102和步骤104，还包括步骤201。在步骤201中，将所述待处理频谱数据和所述目标曲谱信息输入预设神经网络模型中以得到修正后的目标频谱数据。也即，根据该待处理频谱数据和该目标本文档来自技高网...

【技术保护点】
1.一种语音处理方法，其特征在于，所述方法包括：/n接收用户输入的待处理语音信息，并确定与所述待处理语音信息对应的目标曲谱信息；/n提取所述待处理语音信息中的待处理频谱数据；/n根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据；/n根据所述目标频谱数据通过声码器合成得到调音后的目标语音。/n

【技术特征摘要】
1.一种语音处理方法，其特征在于，所述方法包括：
接收用户输入的待处理语音信息，并确定与所述待处理语音信息对应的目标曲谱信息；
提取所述待处理语音信息中的待处理频谱数据；
根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据；
根据所述目标频谱数据通过声码器合成得到调音后的目标语音。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理频谱数据和所述目标曲谱信息得到修正后的目标频谱数据包括：
将所述待处理频谱数据和所述目标曲谱信息输入预设神经网络模型中以得到修正后的目标频谱数据。


3.根据权利要求1所述的方法，其特征在于，所述声码器为预设神经网络声码器。


4.根据权利要求1至3中任一权利要求所述的方法，其特征在于，所述用户输入的待处理语音信息为没有歌曲伴奏的清唱的语音信息。


5.根据权利要求1至3中任一权利要求所述的方法，其特征在于，所述用户输入的待处理语音信息为包括歌曲伴奏的混音的语音信息，在提取所述待处理语音信息中的待处理频谱数据之前，所述方法还包括：
将所述歌曲伴奏从所述待处理语音信息中分离，以得到没有所述歌曲伴奏的清唱的待处理语音信息。


6.根据权利要求2所述的方法，其特征在于，所述预设神经网络模型通过以下方式进行训练：
对待训练歌曲的原唱语音信息中的旋律数据和/或音高数据进行无规律调整，以得到对应于所述待训练歌曲的多个走调语音信息；
获取所述待训练歌曲对应的曲谱信息；
获取对所述待训练歌曲的原唱语音信息经过调音师调音后的调音语音信息；
将从所述走调语音信息中提取得到的第一频谱...

【专利技术属性】
技术研发人员：殷翔，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11