音频合成方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请实施例公开了一种音频合成方法、装置、电子设备和计算机可读存储介质；本申请实施例在获取目标音乐对应的至少两个原始音频数据后，对原始音频数据进行信源分离，得到每一原始音频数据的对象音轨特征和伴奏音轨特征，然后，计算对象音轨特征之间的特征相关度，基于特征相关度，对对象音轨特征进行特征对齐，得到对齐后的对象音轨特征，然后，将对齐后的对象音轨特征与伴奏音轨特征进行融合，得到目标音乐对应的合成音频数据；该方案可以提升音频合成的准确度。音频合成的准确度。音频合成的准确度。

【技术实现步骤摘要】
音频合成方法、装置、电子设备和计算机可读存储介质


[0001]本专利技术涉及音频处理领域，具体涉及一种音频合成方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]近年来，随着互联网技术的飞速发展，音频处理的方式也越来越多样化。比如，可以将同一首音乐的不同版本的音频数据进行合成，从而得到这首音乐的合唱版本的音频数据。现有的音乐合成方法可以采用人工合成的方式，或者，将不同的音频数据进行对齐，从而得到合成的音频数据。
[0003]在对相关技术的研究和实践过程中，本申请的专利技术人发现采用人工合成的方式太过于依赖人工对于歌曲或者歌曲中人声音轨的细微差别的感知度，可能存在主观上的差异，而直接将音频数据进行对齐的话，往往会受到伴奏的干扰，影响音频数据的对齐效果，因此，导致音频合成的准确度较低。

技术实现思路

[0004]本专利技术实施例提供一种音频合成方法、装置、电子设备和计算机可读存储介质，可以提高音频合成的准确度。
[0005]一种音频合成方法，包括：获取目标音乐对应的至少两个原始音频数据；对所述原始音频数据进行信源分离，得到每一原始音频数据的对象音轨特征和伴奏音轨特征；计算所述对象音轨特征之间的特征相关度，所述特征相关度表征不同对象音轨特征对应的对象音轨中不同时间点之间的关联程度；基于所述特征相关度，对所述对象音轨特征进行特征对齐，得到对齐后的对象音轨特征；将所述对齐后的对象音轨特征与所述伴奏音轨特征进行融合，得到所述目标音乐对应的合成音频数据。
[0006]相应的，本专利技术实施例提供一种音频合成装置，包括：获取单元，用于获取目标音乐对应的至少两个原始音频数据；分离单元，用于对所述原始音频数据进行信源分离，得到每一原始音频数据的对象音轨特征和伴奏音轨特征；计算单元，用于计算所述对象音轨特征之间的特征相关度，所述特征相关度表征不同对象音轨特征对应的对象音轨中不同时间点之间的关联程度；对齐单元，用于基于所述特征相关度，对所述对象音轨特征进行特征对齐，得到对齐后的对象音轨特征；融合单元，用于将所述对齐后的对象音轨特征与所述伴奏音轨特征进行融合，得
到所述目标音乐对应的合成音频数据。
[0007]在一些实施例中，所述计算单元，具体可以用于确定不同原始音频数据的所述伴奏音轨特征之间的特征相似度；当所述特征相似度大于或等于预设相似度阈值时，计算所述对象音轨特征之间的特征相关度；当所述特征相似度小于所述预设相似度阈值时，将所述伴奏音轨特征进行对齐，将对齐后的伴奏音轨特征作为所述伴奏音轨特征，并计算所述对象音轨特征之间的特征相关度。
[0008]在一些实施例中，所述计算单元，具体可以用于在所述对象音轨特征中确定出目标对象音轨特征；构建至少一个目标特征对，所述目标特征对包括所述目标对象音轨特征和所述对象音轨特征中除所述目标对象音轨特征以外的对象音轨特征；计算所述目标特征对中的对象音轨特征之间的特征相关度。
[0009]在一些实施例中，所述计算单元，具体可以用于在所述目标特征对中提取出每一对象音轨特征的关联特征；根据所述关联特征，确定所述目标特征对中每一对象音轨特征的注意力权重；基于所述注意力权重，生成所述目标特征对对应的特征相关度。
[0010]在一些实施例中，所述计算单元，具体可以用于基于所述注意力权重，确定所述目标特征对中不同对象音轨特征的对象音轨子特征之间的特征距离；将所述特征距离作为所述目标特征对中不同对象音轨特征的对象音轨子特征之间的初始特征相关度；将所述初始特征相关度进行组合，得到所述目标特征对对应的特征相关度。
[0011]在一些实施例中，所述对齐单元，具体可以用于在所述目标特征对的对象音轨特征中筛选出符合静音条件的对象音轨子特征，得到静音特征；基于所述静音特征对所述特征相关度进行修正，得到目标特征相关度；根据所述目标特征相关度，对所述目标特征对中的对象音轨特征进行对齐，得到对齐后的对象音轨特征。
[0012]在一些实施例中，所述对齐单元，具体可以用于在所述特征相关度中筛选出所述静音特征对应的初始特征相关度，得到候选特征相关度；在所述特征相关度中剔除所述候选特征相关度，得到目标特征相关度。
[0013]在一些实施例中，所述对齐单元，具体可以用于在所述目标特征对中提取出所述目标对象音轨特征以外的对象音轨特征，得到当前对象音轨特征；基于所述目标特征相关度，对所述当前对象音轨特征进行调整，得到调整后对象音轨特征，所述调整后对象音轨特征与所述目标对象音轨特征对齐；将所述调整后对象音轨特征和所述目标对象音轨特征作为对齐后的对象音轨特征。
[0014]在一些实施例中，所述对齐单元，具体可以用于基于所述目标特征相关度，在当前对象音轨特征中筛选出所述目标对象音轨特征中每一对象音轨子特征对应的目标对象音轨子特征；在所述目标特征相关度中提取出所述目标对象音轨子特征对应的初始特征相关度，得到当前特征相关度；根据所述当前特征相关度，确定所述目标对象音轨子特征对应的调整参数，并将所述调整参数与所述目标对象音轨子特征进行融合，得到调整后对象音轨特征。
[0015]在一些实施例中，所述融合单元，具体可以用于将所述对齐后的对象音轨特征进行特征放大，得到候选对象音轨特征；将所述候选对象音轨特征中多个放大后的对象音轨特征进行拼接，以得到合成对象音轨特征；在所述伴奏音轨特征中筛选出目标对象音轨特征对应的目标伴奏音轨特征；将所述目标伴奏音轨特征和所述合成对象音轨特征进行拼
接，得到目标音频特征，并基于目标音频特征，生成所述目标音乐对应的合成音频数据。
[0016]在一些实施例中，所述融合单元，具体可以用于将所述放大后的对象音轨特征在特征通道上进行拼接，得到多个特征通道上的拼接后对象音轨特征；在所述拼接后对象音频特征中筛选出不同特征通道的同一位置上的对象音轨特征，得到目标对象音轨特征集合；将所述目标对象音轨特征集合中的对象音轨特征进行融合，得到合成对象音轨特征。
[0017]在一些实施例中，所述分离单元，具体可以用于在所述原始音频数据中提取出基础时域特征和基础频域特征；将所述基础时域特征和所述基础频域特征进行融合，得到融合音频特征；根据所述融合音频特征，将所述基础时域特征转换为对象音轨特征，并将所述基础频域特征转换为伴奏音轨特征。
[0018]在一些实施例中，所述分离单元，具体可以用于对所述基础时域特征进行一维卷积处理，得到当前时域特征，并对所述当前时域特征进行空间变换，得到变换后时域特征；对所述基础频域特征进行二维卷积处理，得到当前频域特征；将所述变换后时域特征与所述当前频域特征进行拼接，得到初始融合音频特征，并对所述初始融合音频特征进行二维卷积处理，得到融合音频特征。
[0019]在一些实施例中，所述分离单元，具体可以用于将所述融合音频特征、当前时域特征和基础时域特征进行融合，以得到初始对象音轨特征；将所述融合音频特征、当前频域特征和基础频域特征进行拼接，以得到初始伴奏音轨特征；对所述初始对象音轨特征进行特征分离，得到对象音轨特征，并对所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频合成方法，其特征在于，包括：获取目标音乐对应的至少两个原始音频数据；对所述原始音频数据进行信源分离，得到每一原始音频数据的对象音轨特征和伴奏音轨特征；计算所述对象音轨特征之间的特征相关度，所述特征相关度表征不同对象音轨特征对应的对象音轨中不同时间点之间的关联程度；基于所述特征相关度，对所述对象音轨特征进行特征对齐，得到对齐后的对象音轨特征；将所述对齐后的对象音轨特征与所述伴奏音轨特征进行融合，得到所述目标音乐对应的合成音频数据。2.根据权利要求1所述的音频合成方法，其特征在于，所述计算所述对象音轨特征之间的特征相关度，包括：确定不同原始音频数据的所述伴奏音轨特征之间的特征相似度；当所述特征相似度大于或等于预设相似度阈值时，计算所述对象音轨特征之间的特征相关度；当所述特征相似度小于所述预设相似度阈值时，将所述伴奏音轨特征进行对齐，将对齐后的伴奏音轨特征作为所述伴奏音轨特征，并计算所述对象音轨特征之间的特征相关度。3.根据权利要求2所述的音频合成方法，其特征在于，所述计算所述对象音轨特征之间的特征相关度，包括：在所述对象音轨特征中确定出目标对象音轨特征；构建至少一个目标特征对，所述目标特征对包括所述目标对象音轨特征和所述对象音轨特征中除所述目标对象音轨特征以外的对象音轨特征；计算所述目标特征对中的对象音轨特征之间的特征相关度。4.根据权利要求3所述的音频合成方法，其特征在于，所述计算所述目标特征对中的对象音轨特征之间的特征相关度，包括：在所述目标特征对中提取出每一对象音轨特征的关联特征；根据所述关联特征，确定所述目标特征对中每一对象音轨特征的注意力权重；基于所述注意力权重，生成所述目标特征对对应的特征相关度。5.根据权利要求4所述音频合成方法，其特征在于，所述对象音轨特征包括至少一个对象音轨子特征，所述基于所述注意力权重，生成所述目标特征对对应的特征相关度，包括：基于所述注意力权重，确定所述目标特征对中不同对象音轨特征的对象音轨子特征之间的特征距离；将所述特征距离作为所述目标特征对中不同对象音轨特征的对象音轨子特征之间的初始特征相关度；将所述初始特征相关度进行组合，得到所述目标特征对对应的特征相关度。6.根据权利要求2所述的音频合成方法，其特征在于，所述基于所述特征相关度，对所述对象音轨特征进行特征对齐，得到对齐后的对象音轨特征，包括：在所述目标特征对的对象音轨特征中筛选出符合静音条件的对象音轨子特征，得到静
音特征；基于所述静音特征对所述特征相关度进行修正，得到目标特征相关度；根据所述目标特征相关度，对所述目标特征对中的对象音轨特征进行对齐，得到对齐后的对象音轨特征。7.根据权利要求6所述的音频合成方法，其特征在于，所述基于所述静音特征对所述特征相关度进行修正，得到目标特征相关度，包括：在所述特征相关度中筛选出所述静音特征对应的初始特征相关度，得到候选特征相关度；在所述特征相关度中剔除所述候选特征相关度，得到目标特征相关度。8.根据权利要求6所述的音频合成方法，其特征在于，所述根据所述目标特征相关度，对所述目标特征对中的对象音轨特征进行对齐，得到对齐后的对象音轨特征，包括：在所述目标特征对中提取出目标对象音轨特征以外的对象音轨特征，得到当前对象音轨特征；基于所述目标特征相关度，对所述当前对象音轨特征进行调整，得到调整后对象音轨特征，所述调整后对象音轨特征与所述目标对象音轨特征对齐；将所述调整后对象音轨特征和所述目标对象音轨特征作为对齐后的对象音轨特征。9.根据权利要求8所述的音频合成方法，其特征在于，所述基于所述目标特征相关度，对所述当前对象音轨特征进行调整，得到调整后对象音轨特征，包括：基于所述目标特征相关度，在当前对象音轨特征中筛选出所述目标对象音轨特征中每一对象音轨子特征对应的目标对象音轨子特征；在所述目标特征相关度中提取出所述目标对象音轨子特征对应的初始特征相关度，得到当前特征相关度；根据所述当前特征相关度，确定所述目标对象音轨子特征对应的调整参数，并将所述调整参数与所述目标对象音轨子特征进行融合，得到调整后对象音轨特征。10.根据权利要求1所述的音频合成方法，其特征在于，所述将所述对齐后的对象音轨特征与所述伴奏音轨特征进行融合，得到所述目标音乐对应的合成音频数据，包括：将所述对齐后的对象音轨特征进行特征放大，得到候选对象音轨特征；将所述候选对象音轨特征中多个放大后的对象音轨特征进行拼接，以得到合成对象音轨特征；在所述伴奏音轨...

【专利技术属性】
技术研发人员：冯鑫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：