一种旋律的风格转换方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种旋律的风格转换方法、装置、终端设备及存储介质，所述方法包括：获取待转换旋律的第一波形图；将所述待转换旋律的第一波形图输入至预设旋律风格转换模型中，以使所述预设旋律风格转换模型，根据所述第一波形图生成对应的第一旋律语义图；根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述已转换旋律。本发明专利技术不但可以将各种不同的歌曲转换成用户喜爱的旋律风格，同时可以将音乐领域融入人工智能领域中，扩宽人工智能领域的应用范围，而且可以为艺术研究提供参考或灵感，从而促进音乐领域的发展，以增加音乐的欣赏价值和商业价值。商业价值。商业价值。

【技术实现步骤摘要】
一种旋律的风格转换方法、装置、终端设备及存储介质


[0001]本专利技术涉及音频处理
，尤其涉及一种旋律的风格转换方法、装置、终端设备及存储介质。

技术介绍

[0002]近年来音乐生成领域进展飞速，随着深度学习的再次兴起，旋律处理与生成重新进入大众的视野。在音乐领域中，对同一旋律进行不同风格改编具有很大的欣赏价值和商业价值，同时也能为艺术研究提供参考或灵感。如果通过机器学习对旋律的风格进行自动转换是一个亟需解决的问题。

技术实现思路

[0003]本专利技术实施例提供一种旋律的风格转换方法、装置、终端设备及存储介质，能够实现旋律风格的自动转换。
[0004]与现有技术相比，本专利技术实施例公开的旋律的风格转换方法，所述方法包括：
[0005]获取待转换旋律的第一波形图；
[0006]将所述待转换旋律的第一波形图输入至预设旋律风格转换模型中，以使所述预设旋律风格转换模型，根据所述第一波形图生成对应的第一旋律语义图；其中，所述第一旋律语义图包含已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；所述已转换旋律为将所述待转换旋律根据预设旋律风格转换后所形成的旋律；
[0007]根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述已转换旋律。
[0008]进一步的，所述风格转换模型的构建方法包括：
[0009]获取至少一所述预设旋律风格的原始旋律的第二波形图以及与所述原始旋律所对应的第二旋律语义图；所述第二旋律语义图包含所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；
[0010]将所述第一波形图以及所述第二旋律语义图输入到预设的GAN神经网络中，对所述GAN神经网络中的生成器和判别器进行交替迭代训练，并将训练完成后的生成器作为所述风格转换模型。
[0011]进一步的，所述生成器包括：若干层级的隐藏层；
[0012]在训练所述生成器时，提取所述第二波形图的特征向量，将所述第二波形图的特征向量分别输入至各层级的隐藏层中，对所述生成器中的各隐藏层进行训练；
[0013]其中，当待训练的隐藏层为第一层隐藏层时，根据所述特征向量以及所述特征向量在第一层隐藏层的影响权重，对所述待训练的隐藏层进行训练；
[0014]当所述待训练的隐藏层不为第一层隐藏层时，根据所述特征向量、所述特征向量
在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果，对所述待训练的隐藏层进行训练。
[0015]进一步的，提取所述第二波形图的特征向量，具体包括：
[0016]提取所述第二波形图的颜色像素矩阵，将所述颜色像素矩阵作为所述第二波形图的特征向量。
[0017]进一步的，所述第二旋律语义图的生成方法包括：
[0018]获取所述原始旋律的MIDI文件数据；
[0019]根据所述MIDI文件数据提取所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；
[0020]根据所述原始旋律在各演奏时段上所对应的乐器种类、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述第二旋律语义图。
[0021]进一步的，根据所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述第二旋律语义图，具体包括：
[0022]根据所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成具备若干颜色的四边形的彩图，将所述彩图作为所述第二旋律语义图；
[0023]其中，在所述彩图中，以不同颜色的四边形表征乐器种类信息、以各四边形的宽度表征各乐器演奏时的响度信息、以各四边形的长度表征各乐器演奏时的音长信息、以各四边形在所述第二旋律语义图竖直方向的位置表征各乐器演奏时的音调信息、以各四边形在所述第二旋律语义图水平方向的位置表征各乐器的演奏时段。
[0024]进一步的，所述根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息以及各乐器演奏时的响度信息，生成所述已转换旋律，具体包括：
[0025]根据所述已转换旋律在各演奏时段上所对应的乐器种类信息及各乐器演奏时的音调信息从预设的乐器素材库中，获取各演奏时段上所对应的音频文件；
[0026]根据所述已转换旋律在各演奏时段上，各乐器演奏时的响度信息以及各乐器演奏时的音长信息，确定播放各所述音频文件时所需控制的时长及音量；
[0027]根据各所述音频文件、各所述音频文件时所需控制的时长及音量合成所述已转换旋律。
[0028]本专利技术另一实施例对应提供了一种旋律的风格转换装置，所述装置包括：
[0029]获取波形图模块，用于获取待转换旋律的第一波形图；
[0030]生成语义图模块，用于将所述待转换旋律的第一波形图输入至预设旋律风格转换模型中，以使所述预设旋律风格转换模型，根据所述第一波形图生成对应的第一旋律语义图；其中，所述第一旋律语义图包含已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；所述已转换旋律为将所述待转换旋律根据预设旋律风格转换后所形成的旋律；
[0031]生成旋律模块，根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述已转换旋律。
[0032]进一步的，所述风格转换模型的构建方法包括：
[0033]获取至少一所述预设旋律风格的原始旋律的第二波形图以及与所述原始旋律所对应的第二旋律语义图；所述第二旋律语义图包含所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；
[0034]将所述第一波形图以及所述第二旋律语义图输入到预设的GAN神经网络中，对所述GAN神经网络中的生成器和判别器进行交替迭代训练，并将训练完成后的生成器作为所述风格转换模型。
[0035]进一步的，所述生成器包括：若干层级的隐藏层；
[0036]在训练所述生成器时，提取所述第二波形图的特征向量，将所述第二波形图的特征向量分别输入至各层级的隐藏层中，对所述生成器中的各隐藏层进行训练；
[0037]其中，当待训练的隐藏层为第一层隐藏层时，根据所述特征向量以及所述特征向量在第一层隐藏层的影响权重，对所述待训练的隐藏层进行训练；
[0038]当所述待训练的隐藏层不为第一层隐藏层时，根据所述特征向量、所述特征向量在所述待训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种旋律的风格转换方法，其特征在于，包括：获取待转换旋律的第一波形图；将所述待转换旋律的第一波形图输入至预设旋律风格转换模型中，以使所述预设旋律风格转换模型，根据所述第一波形图生成对应的第一旋律语义图；其中，所述第一旋律语义图包含已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；所述已转换旋律为将所述待转换旋律根据预设旋律风格转换后所形成的旋律；根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述已转换旋律。2.如权利要求1所述的旋律的风格转换方法，其特征在于，所述风格转换模型的构建方法包括：获取至少一所述预设旋律风格的原始旋律的第二波形图以及与所述原始旋律所对应的第二旋律语义图；所述第二旋律语义图包含所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；将所述第一波形图以及所述第二旋律语义图输入到预设的GAN神经网络中，对所述GAN神经网络中的生成器和判别器进行交替迭代训练，并将训练完成后的生成器作为所述风格转换模型。3.如权利要求2所述的旋律的风格转换方法，其特征在于，所述生成器包括：若干层级的隐藏层；在训练所述生成器时，提取所述第二波形图的特征向量，将所述第二波形图的特征向量分别输入至各层级的隐藏层中，对所述生成器中的各隐藏层进行训练；其中，当待训练的隐藏层为第一层隐藏层时，根据所述特征向量以及所述特征向量在第一层隐藏层的影响权重，对所述待训练的隐藏层进行训练；当所述待训练的隐藏层不为第一层隐藏层时，根据所述特征向量、所述特征向量在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果，对所述待训练的隐藏层进行训练。4.如权利要求3所述的旋律的风格转换方法，其特征在于，提取所述第二波形图的特征向量，具体包括：提取所述第二波形图的颜色像素矩阵，将所述颜色像素矩阵作为所述第二波形图的特征向量。5.如权利要求2所述的旋律的风格转换方法，其特征在于，所述第二旋律语义图的生成方法包括：获取所述原始旋律的MIDI文件数据；根据所述MIDI文件数据提取所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息；根据所述原始旋律在各演奏时段上所对应的乐器种类、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述第二旋律语义图。6.如权利要求5所述的旋律的风格转换方法，其特征在于，根据所述原始旋律在各演奏
时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成所述第二旋律语义图，具体包括：根据所述原始旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息、各乐器演奏时的响度信息以及各乐器演奏时的音长信息，生成具备若干颜色的四边形的彩图，将所述彩图作为所述第二旋律语义图；其中，在所述彩图中，以不同颜色的四边形表征乐器种类信息、以各四边形的宽度表征各乐器演奏时的响度信息、以各四边形的长度表征各乐器演奏时的音长信息、以各四边形在所述第二旋律语义图竖直方向的位置表征各乐器演奏时的音调信息、以各四边形在所述第二旋律语义图水平方向的位置表征各乐器的演奏时段。7.如权利要求1所述的旋律的风格转换方法，其特征在于，所述根据所述已转换旋律在各演奏时段上所对应的乐器种类信息、各乐器演奏时的音调信息以及各乐器演奏时的响度信息，生成所述已转换旋律，具体包括：根据所述已转换旋律在各演奏时段上所对应的乐器种类信息及各乐器演奏时的音调信息从预设的乐器素材库中，获取各演奏时段上所对应的音频文件；根据所述已转换旋律在各演奏时段上，各乐器演奏时的响度信息以及各乐器演奏时的音长信息，确定播放各所述音频文件时所需控制的时长及音量；根据各所述音频文件、各所述音频文件时所需控制的时长及音量合成所述已转换旋律。8.一种旋律的风格转换装置，其特征在于，包括：获取波形图模块，用于获取待转换旋律的第一波形图；生成语义图模块，...

【专利技术属性】
技术研发人员：邓立邦，
申请(专利权)人：广东智媒云图科技股份有限公司，
类型：发明
国别省市：