音频生成方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种音频生成方法、装置、计算机设备、存储介质和计算机程序产品。所述方法可以应用于智慧交通的应用场景，包括：提取目标图像中各像素点的图像信息；确定与各所述像素点的图像信息对应的音高值；基于所述音高值将各所述像素点的所述图像信息转换为旋律轨音符数据；基于所述旋律轨音符数据或与所述目标图像匹配的音乐调式，确定匹配的和弦轨音符数据；对所述旋律轨音符数据与所述和弦轨音符数据进行合成，得到音频文件。采用本方法能够提高生成音频文件的效率。提高生成音频文件的效率。提高生成音频文件的效率。

【技术实现步骤摘要】
音频生成方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种音频生成方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，需要对大量的图像进行配音，以将图像和图像的配音合成为视频。传统技术中，对深度学习模型进行训练并通过训练所得的深度学习模型对目标图像进行处理，得到目标图像对应的音频。但是，在训练深度学习模型时，需要采集大量的训练样本，并且训练深度学习模型的过程需要较长时间，所以，传统技术针对目标图像生成对应音频的效率较低。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高生成效率的音频生成方法、装置、计算机设备、存储介质和计算机程序产品。
[0004]一种音频生成方法，所述方法包括：
[0005]提取目标图像中各像素点的图像信息；
[0006]确定与各所述像素点的图像信息对应的音高值；
[0007]基于所述音高值将各所述像素点的所述图像信息转换为旋律轨音符数据；
[0008]基于所述旋律轨音符数据或与所述目标图像匹配的音乐调式，确定匹配的和弦轨音符数据；
[0009]对所述旋律轨音符数据与所述和弦轨音符数据进行合成，得到音频文件。
[0010]一种音频生成装置，所述装置包括：
[0011]提取模块，用于提取目标图像中各像素点的图像信息；
[0012]确定模块，用于确定与各所述像素点的图像信息对应的音高值；
[0013]转换模块，用于基于所述音高值将各所述像素点的所述图像信息转换为旋律轨音符数据；
[0014]所述确定模块，还用于基于所述旋律轨音符数据或与所述目标图像匹配的音乐调式，确定匹配的和弦轨音符数据；
[0015]合成模块，用于对所述旋律轨音符数据与所述和弦轨音符数据进行合成，得到音频文件。
[0016]在一个实施例中，所述音符为和弦内音符；所述装置还包括：
[0017]所述确定模块，还用于基于各所述像素点的图像信息确定所述音乐调式；
[0018]第一选取模块，用于根据所述音乐调式从和弦模板库中选取和弦模板；
[0019]所述确定模块，还用于确定各所述像素点的图像信息对应的和弦级数；
[0020]第一获取模块，用于在所述和弦模板中，获取所述和弦级数对应的和弦内音符；
[0021]所述确定模块，还用于基于所述和弦内音符，确定与各所述像素点的图像信息对
应的音高值。
[0022]在一个实施例中，所述装置还包括：
[0023]所述确定模块，还用于基于各所述像素点的图像信息确定所述音乐调式；
[0024]第二获取模块，用于获取所述音乐调式对应的目标音符集合；
[0025]所述确定模块，还用于基于所述目标音符集合中的各音符，确定与各所述像素点的图像信息对应的音高值。
[0026]在一个实施例中，所述确定模块，还用于：
[0027]在所述音乐调式对应的和弦模板中，确定各所述像素点的图像信息对应的第一和弦构成音，并基于所述第一和弦构成音生成和弦轨音符数据；或者，
[0028]基于所述旋律轨音符数据中每节的旋律音符数据，确定匹配的和弦音符数据，得到由各所述和弦音符数据构成的和弦轨音符数据；或者，
[0029]获取与所述音乐调式固定搭配的第二和弦构成音，并基于所述第二和弦构成音生成和弦轨音符数据。
[0030]在一个实施例中，所述确定模块，还用于：
[0031]根据所述音乐调式在和弦模板库中选取和弦模板；
[0032]确定各所述像素点的图像信息对应的和弦级数；
[0033]在所述和弦模板中，获取所述和弦级数对应的和弦构成音；
[0034]将所述和弦级数对应的和弦构成音，确定为各所述像素点的图像信息对应的第一和弦构成音。
[0035]在一个实施例中，所述确定模块，还用于：
[0036]确定所述旋律轨音符数据中每节的旋律音符数据对应的备选和弦；
[0037]对各所述备选和弦进行排列组合，得到至少两个备选和弦组合；
[0038]在各所述备选和弦组合中，以当前所述备选和弦对应的和弦级数为参考级别，对相邻所述备选和弦进行评分，直至得到各所述备选和弦组合中所有备选和弦对应的分值；
[0039]基于所得的分值确定各所述备选和弦组合的组合分值；
[0040]在至少两个所述备选和弦组合中，基于所述组合分值选取目标和弦组合；
[0041]根据所述目标和弦组合确定每节的旋律音符数据匹配的和弦音符数据，得到由各所述和弦音符数据构成的和弦轨音符数据。
[0042]在一个实施例中，所述确定模块，还用于：
[0043]确定每节的所述旋律音符数据中各音符数据分别对应的权重值；
[0044]按照所述权重值对各所述音符数据进行加权，得到各所述音符数据的音符分值；
[0045]基于所述音符分值，确定各所述和弦级数对应的和弦的音符和值；
[0046]根据所述音符和值对各所述和弦级数对应的和弦进行排序；
[0047]从各所述和弦中，选取排序的名次达到预设名次的和弦作为所述备选和弦。
[0048]在一个实施例中，所述装置还包括：
[0049]归一化模块，用于对所述旋律轨音符数据进行归一化处理，得到归一化旋律轨音符数据；
[0050]所述确定模块，还用于按照所述权重值对所述归一化旋律音符数据中各音符数据进行加权，得到各所述音符数据的音符分值。
[0051]在一个实施例中，所述图像信息为亮度值；所述提取模块，还用于：
[0052]获取所述目标图像中各像素点的色度值；
[0053]基于所述色度值确定所述目标图像中各像素点的亮度值；
[0054]所述确定与各所述像素点的图像信息对应的音高值包括：
[0055]确定与各所述像素点的亮度值对应的音高值。
[0056]在一个实施例中，所述旋律轨音符数据包括至少两节的旋律音符数据，每节的所述旋律音符数据中包括至少两个音符数据；所述装置还包括：
[0057]合并模块，用于在每节的所述旋律音符数据中，对连续出现的相同音符数据进行合并处理，得到合并后旋律音符数据；
[0058]所述确定模块，还用于确定每节的所述合并后旋律音符数据中各音符数据的音值；
[0059]所述转换模块，还用于基于所述音高值和所述音值，将各所述像素点的所述图像信息转换为旋律轨音符数据。
[0060]在一个实施例中，所述装置还包括：
[0061]第三获取模块，用于获取媒体素材，并基于所述媒体素材生成目标视频；
[0062]第二选取模块，用于从所述目标视频中选取目标视频帧作为所述目标图像；
[0063]调整模块，用于根据所述目标视频的作曲时长调整所述目标图像的宽高比，得到调整后的所述目标图像；
[0064本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频生成方法，其特征在于，所述方法包括：提取目标图像中各像素点的图像信息；确定与各所述像素点的图像信息对应的音高值；基于所述音高值将各所述像素点的所述图像信息转换为旋律轨音符数据；基于所述旋律轨音符数据或与所述目标图像匹配的音乐调式，确定匹配的和弦轨音符数据；对所述旋律轨音符数据与所述和弦轨音符数据进行合成，得到音频文件。2.根据权利要求1所述的方法，其特征在于，所述音符为和弦内音符；所述方法还包括：基于各所述像素点的图像信息确定所述音乐调式；根据所述音乐调式从和弦模板库中选取和弦模板；确定各所述像素点的图像信息对应的和弦级数；在所述和弦模板中，获取所述和弦级数对应的和弦内音符；所述确定与各所述像素点的图像信息对应的音高值包括：基于所述和弦内音符，确定与各所述像素点的图像信息对应的音高值。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于各所述像素点的图像信息确定所述音乐调式；获取所述音乐调式对应的目标音符集合；所述确定与各所述像素点的图像信息对应的音高值包括：基于所述目标音符集合中的各音符，确定与各所述像素点的图像信息对应的音高值。4.根据权利要求1所述的方法，其特征在于，所述基于所述旋律轨音符数据或与所述目标图像匹配的音乐调式，确定匹配的和弦轨音符数据包括：在所述音乐调式对应的和弦模板中，确定各所述像素点的图像信息对应的第一和弦构成音，并基于所述第一和弦构成音生成和弦轨音符数据；或者，基于所述旋律轨音符数据中每节的旋律音符数据，确定匹配的和弦音符数据，得到由各所述和弦音符数据构成的和弦轨音符数据；或者，获取与所述音乐调式固定搭配的第二和弦构成音，并基于所述第二和弦构成音生成和弦轨音符数据。5.根据权利要求4所述的方法，其特征在于，所述在所述音乐调式对应的和弦模板中，确定各所述像素点的图像信息对应的第一和弦构成音包括：根据所述音乐调式在和弦模板库中选取和弦模板；确定各所述像素点的图像信息对应的和弦级数；在所述和弦模板中，获取所述和弦级数对应的和弦构成音；将所述和弦级数对应的和弦构成音，确定为各所述像素点的图像信息对应的第一和弦构成音。6.根据权利要求4所述的方法，其特征在于，所述基于所述旋律轨音符数据中每节的旋律音符数据，确定匹配的和弦音符数据，得到由各所述和弦音符数据构成的和弦轨音符数据包括：确定所述旋律轨音符数据中每节的旋律音符数据对应的备选和弦；对各所述备选和弦进行排列组合，得到至少两个备选和弦组合；
在各所述备选和弦组合中，以当前所述备选和弦对应的和弦级数为参考级别，对相邻所述备选和弦进行评分，直至得到各所述备选和弦组合中所有备选和弦对应的分值；基于所得的分值确定各所述备选和弦组合的组合分值；在至少两个所述备选和弦组合中，基于所述组合分值选取目标和弦组合；根据所述目标和弦组合确定每节的旋律音符数据匹配的和弦音符数据，得到由各所述和弦音符数据构成的和弦轨音符数据。7.根据权利要求6所述的方法，其特征在于，所述确定所述旋律轨音符数据中每节的旋律音...

【专利技术属性】
技术研发人员：董霙，刘炳楠，李硙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：