基于深度神经网络和音乐元素驱动的情感音乐生成方法技术

本发明专利技术涉及智能音乐生成技术领域，尤其涉及基于深度神经网络和音乐元素驱动的情感音乐生成方法。所述方法包括：获取用户指定的情感类型，并转换为对应的音乐元素特征；将音乐元素特征输入预先建立和训练好的情感音乐生成模型，得到对应的情感音乐序列；对情感音乐序列进行解码及合成处理，得到情感音乐。本发明专利技术使用人工智能算法生成音乐，并将情感因素融入智能音乐的生成系统中，以提升智能音乐的艺术感染力和情感渲染力；并且情感音乐生成不依赖大量的人工标记音乐数据。

【技术实现步骤摘要】
基于深度神经网络和音乐元素驱动的情感音乐生成方法
本专利技术涉及智能音乐生成
，尤其涉及基于深度神经网络和音乐元素驱动的情感音乐生成方法。
技术介绍
智能音乐生成方法运用人工智能方法进行机器作曲，通过模拟作曲家的创作思维，提高音乐的生成效率和音乐创作的普遍性，更促进了音乐与计算机科学、神经科学、心理学等多学科交叉领域的发展。国外在智能音乐生成领域发展较为迅速，国外人工智能巨头公司都对智能音乐生成技术展开了深入研究，我国在智能音乐生成领域发展尚处于起步阶段,智能音乐生成系统和作品还较为零星，还未形成完整体系，且作品的可听性有待提高。智能音乐生成是现今国内外计算机音乐领域的热点研究课题，也是深度学习网络在音乐创作方面的一个主要应用方向。递归神经网络及其变体已被广泛应用于序列数据的建模，其出色的时间建模能力使其适合于音乐生成。情感是作曲家创作作品的重要元素，因此在音乐自动生成系统中十分重要。然而目前基于深度神经网络的音乐生成系统在生成音乐时很少考虑情感的影响，因此系统缺乏基于特定情感生成音乐的能力。在音乐心理学中，音乐情感与音乐元素之间的关系已经被证实。大量实验结果表明，快速的音乐能够激发快乐和紧张的情绪，而缓慢的音乐能够激发平静和悲伤的情绪。用大调作曲的音乐能够激发正面的情绪，而用小调作曲的音乐能够激发负面的情绪。目前的情感音乐生成模型大多基于情感标签，直接使用情感标签和对应情感的音乐进行标签映射，没有考虑音乐结构的影响。基于标签的方法需要一个人工标注的带有不同情绪标签的音乐数据集，人工标记这个音乐数据集需要大量的人力物力。本方法结合音乐心理学，将音乐调式和音乐速度作为两种音乐元素特征用于训练深度神经网络，使其能够生成具有特定情感的音乐。以往的相关专利或论文均未采用过此种方法来搭建情感音乐生成的深度神经网络模型。
技术实现思路
本专利技术的目的在于克服现有技术缺陷，提出了基于深度神经网络和音乐元素驱动的情感音乐生成方法。为了实现上述目的，本专利技术提出了一种基于深度神经网络和音乐元素驱动的情感音乐生成方法，所述方法包括：获取用户指定的情感类型，并转换为对应的音乐元素特征；将音乐元素特征输入预先建立和训练好的情感音乐生成模型，得到对应的情感音乐序列；对情感音乐序列进行解码及合成处理，得到情感音乐。作为上述方法的一种改进，所述情感类型包括快乐、紧张、平静和悲伤情绪。作为上述方法的一种改进，所述获取用户指定的情感类型，并转换为对应的音乐元素特征；具体包括：根据获取的情感类型，进行对应的音乐调式和音乐速度的转换；其中，快乐情绪对应大调音乐，快速音乐；紧张情绪对应小调音乐，快速音乐；平静情绪对应大调音乐，慢速音乐；悲伤情绪对应小调音乐，慢速音乐；所述快速音乐为设定秒内音符个数大于阈值的音乐，所述慢速音乐为设定秒内音符个数小于阈值的音乐。作为上述方法的一种改进，所述情感音乐生成模型为门控循环单元网络，输入为音乐元素特征，输出为对应不同音乐元素特征的音乐序列。作为上述方法的一种改进，所述方法还包括情感音乐生成模型的训练步骤；具体包括：获取MIDI格式的音乐文件作为样本集；对样本集的每个音乐文件进行预处理，得到若干个音乐序列，以及每个音乐序列对应的音乐元素特征，构成训练集；将训练集依次输入情感音乐生成模型，将交叉熵损失函数作为损失函数，使用设定衰减率的Adam优化器进行训练，得到训练好的情感音乐生成模型。作为上述方法的一种改进，所述预处理具体包括：对每个音乐文件进行切分，得到若干个音乐段；从每个音乐段中读取每个音符的起始时间、终止时间、音高信息、音量信息四种音符信息，由起始时间确定音符开始事件，由终止时间确定音符结束事件和时移事件，对音量信息进行设定范围值的映射，得到音量改变事件，对音符开始事件、音符结束事件、时移事件和音量改变事件进行编码得到音乐序列；遍历每个音乐段，统计不同音高的音符出现次数以及每设定秒内音符的个数，得到对应的音高统计图，并由每设定秒内音符的个数计算得到音乐速度；将音乐序列以及对应的音乐调式和音乐速度，构成训练集。作为上述方法的一种改进，所述交叉熵损失函数L为：其中，y表示实际的音符概率分布，表示预测的音符概率分布，i表示第i个音乐序列，n表示音乐序列总数。作为上述方法的一种改进，所述对样本集的每个音乐文件进行预处理之前还包括：对每个样本文件进行人工标注，得到情感标签。一种基于深度神经网络和音乐元素驱动的情感音乐生成系统，所述系统包括：情感音乐生成模型、情感类型转换模块、情感音乐序列输出模块和解码合成模块；其中，所述情感类型转换模块，用于获取用户指定的情感类型，并转换为对应的音乐元素特征；所述情感音乐序列输出模块，用于将音乐元素特征输入预先建立和训练好的情感音乐生成模型，得到对应的情感音乐序列；所述解码合成模块，用于对情感音乐序列进行解码及合成处理，得到情感音乐。与现有技术相比，本专利技术的优势在于：1、使用人工智能算法生成音乐，并将情感因素融入智能音乐的生成系统中，以提升智能音乐的艺术感染力和情感渲染力；2、基于音乐元素驱动自动生成包含特定的情感的音乐，使情感音乐生成不再依赖大量的人工标记音乐数据。附图说明图1是本专利技术实施例1的情感音乐生成方法架构流程图；图2是门控循环单元网络框图；图3是本专利技术实施例2的情感音乐生成方法架构流程图。具体实施方式该方法可以基于音乐元素驱动自动生成包含特定的情感的音乐，使情感音乐生成不再依赖大量的人工标记音乐数据，使情感音乐生成的模型更加容易训练。在此，本专利技术提供一种基于深度神经网络和音乐元素驱动的情感音乐生成方法。该方法可以基于音乐元素驱动自动生成出包含一种特定的情感的音乐，使情感音乐生成不再依赖大量的标记数据，并且使情感音乐生成的模型更加容易训练。步骤一：准备MIDI格式的音乐数据集；步骤二：将MIDI格式的音乐读取成音符信息；步骤三：对音符信息进行预处理并且编码成音乐序列；步骤四：提取节奏以及音乐调式等音乐元素特征；步骤五：设计深度神经网络结构；步骤六：将音乐序列和音乐元素特征输入神经网络，开始训练；步骤七：加载训练完成的神经网络参数，完成情感音乐生成模型的训练；步骤八：用户指定特定情感，由生成模型生成对应的情感音乐序列；步骤九：将情感音乐序列解码为情感音乐；下面结合附图和实施例对本专利技术的技术方案进行详细的说明。实施例1如图1所示，本专利技术的实施例1提供了一种基于深度神经网络和音乐元素驱动的情感音乐生成方法。读取音乐数据集并进行预处理以及编码。提取音乐元素特征，将音乐序列与音乐元素特征作为深度神经网络的输入对网络进行训练。深度神经网络训练完成后，可本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络和音乐元素驱动的情感音乐生成方法，所述方法包括：/n获取用户指定的情感类型，并转换为对应的音乐元素特征；/n将音乐元素特征输入预先建立和训练好的情感音乐生成模型，得到对应的情感音乐序列；/n对情感音乐序列进行解码及合成处理，得到情感音乐。/n

【技术特征摘要】
1.一种基于深度神经网络和音乐元素驱动的情感音乐生成方法，所述方法包括：
获取用户指定的情感类型，并转换为对应的音乐元素特征；
将音乐元素特征输入预先建立和训练好的情感音乐生成模型，得到对应的情感音乐序列；
对情感音乐序列进行解码及合成处理，得到情感音乐。


2.根据权利要求1所述的基于深度神经网络和音乐元素驱动的情感音乐生成方法，其特征在于，所述情感类型包括快乐、紧张、平静和悲伤情绪。


3.根据权利要求2所述的基于深度神经网络和音乐元素驱动的情感音乐生成方法，所述获取用户指定的情感类型，并转换为对应的音乐元素特征；具体包括：
根据获取的情感类型，进行对应音乐元素特征的转换，所述音乐元素特征包括音乐调式和音乐速度；其中，
快乐情绪对应大调音乐，快速音乐；
紧张情绪对应小调音乐，快速音乐；
平静情绪对应大调音乐，慢速音乐；
悲伤情绪对应小调音乐，慢速音乐；
所述快速音乐为设定秒内音符个数大于阈值的音乐，所述慢速音乐为设定秒内音符个数小于阈值的音乐。


4.根据权利要求1所述的基于深度神经网络和音乐元素驱动的情感音乐生成方法，其特征在于，所述情感音乐生成模型为门控循环单元网络，输入为音乐元素特征，输出为对应不同音乐元素特征的音乐序列。


5.根据权利要求4所述的基于深度神经网络和音乐元素驱动的情感音乐生成方法，其特征在于，所述方法还包括情感音乐生成模型的训练步骤；具体包括：
获取MIDI格式的音乐文件作为样本集；
对样本集的每个音乐文件进行预处理，得到若干个音乐序列，以及每个音乐序列对应的音乐元素特征，构成训练集；
将训练集依次输入情感音乐生成模型，将交叉熵损失函数作为损失函数，使用设定衰减率的Adam优化器进行训练，得到训练好的情感音乐生成模型。


6.根据权利要求5所述的基于深度神经网...

【专利技术属性】
技术研发人员：郑凯桐，桑晋秋，孟瑞洁，郑成诗，李晓东，蔡娟娟，王杰，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：北京;11