一种自动编配伴奏和弦的方法技术

本发明专利技术公开了一种自动编配伴奏和弦的方法，包括特征提取、模型训练与和弦预测，其中，特征提取是对音乐音频数据的特征提取，针对不同乐器间泛音变化以及音色不均匀带来的和弦识别率低的问题，采用改进的音高级轮廓特征，引入高斯加窗和对数压缩算法，消除泛音以及多重音色带来的负面影响，该方法可增强模型鲁棒性，提高和弦识别率；模型训练需要标签标定与数据训练，通过伴奏音轨符号数据进行和弦信息提取，得到对应的和弦序列，构建为和弦标签文件，并与对应的增强型PCP主旋律特征向量一同输入至隐马尔可夫模型进行参数训练；和弦预测则将待识别的增强型PCP主旋律特征向量输入模型进行预测，最终生成和弦序列。

【技术实现步骤摘要】
一种自动编配伴奏和弦的方法
本专利技术涉及数据处理
，具体涉及一种自动编配伴奏和弦的方法。
技术介绍
现代经济的高速发展，推动着人们的需求不断上升。从最初的物质需求到精神需求的变化，反映了新的市场和发展空间的升级。在娱乐方面，人们的变化也多种多样，其中音乐的市场开始逐渐壮大，越来越多的人开始研究音乐，投入音乐的行业中。创作是音乐必不可少的因素之一，好的音乐需要创作者拥有好的音乐素养，这其中就需要大量丰富的乐理知识作为支撑，才能保证好的创作。然而这需要长期积累和学习，以及较高的音乐素养才能完成。创作涉及到的一个重要领域就是伴奏和弦的编配，一般情况下需要资深的音乐天赋和丰富的乐理知识才能完成，而且大多是人工操作进行，门槛较高。现今，已经陆续出现相关计算机技术来解决这一问题，通过算法模型自动化地来为繁重的和弦人工编配提供便利，如：隐马尔可夫模型、随机过程、遗传算法、深度网络等。而其中目前较多的模型是隐马尔可夫模型，这需要大量的训练数据作为输入为模型训练，训练数据的好坏很大程度上影响着模型的性能。然而目前大多音频数据中，若演奏乐器较多，很多情况下存在泛音干扰以及音色不均匀等问题，较大程度影响了音频相关特征的提取，进而对模型性能也有所影响，降低和弦识别率。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种自动编配伴奏和弦的方法，通过提取音频数据的增强型PCP特征向量，输入训练隐马尔可夫模型，完成模型训练后，再将转换得到的待识别的增强型PCP主旋律特征向量输入至训练完毕的模型进行预测，最终生成识别的和弦序列，该专利技术提高和弦识别率以及提高训练模型性能。本专利技术的目的可以通过采取如下技术方案达到：一种自动编配伴奏和弦的方法，所述的方法包括下列步骤：S1、对MIDI文件进行预处理，删除其中打击乐器音轨，融合相同乐器音轨，得到新的音轨MIDI文件；S2、对MIDI文件分别提取主旋律音轨和伴奏音轨，并对两组音轨序列做C调归一化，对主旋律音轨通过格式转换，转变为主旋律音频数据，伴奏音轨格式保持不变；S3、对所述的主旋律音频数据进行傅里叶变换得到频谱特征，根据乐理中十二平均律，将频域内每个分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP音级轮廓特征，再通过高斯加窗，降低高低频权重影响，得到滤波后PCP主旋律特征向量；根据对数压缩算法，以一定压缩比例减小特征空间冗余度，得到增强型PCP主旋律特征向量；S4、提取所述的伴奏音轨的拍速、音长、音高、节奏、调号，通过拍速和节奏的计算，得到伴奏音轨的小节时长，从而将伴奏音轨分割成若干音乐小节；对每个音乐小节进行和声变换，得到和弦根音以及音程关系，该音程关系包括大调、小调，根据调号、和弦根音以及音程关系，构成该音乐小节的和弦序列，进而构建得到整个伴奏音轨的和弦序列；将伴奏音轨的和弦序列以XML的数据格式保存成和弦标签文件；S5、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦，该36种和弦包括三和弦、五和弦、九和弦、十一和弦、十三和弦以及各自的变形和弦，每个模型状态数为六种，分别是四个活动状态、开始状态和停止状态，其中活动状态的观测函数由单一带对角矩阵的高斯观测函数构成；然后将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中进行参数训练；S6、提取待识别的主旋律音频数据得到待识别的增强型PCP主旋律特征向量，将待识别的增强型PCP主旋律特征向量输入至已训练的隐马尔可夫模型，预测生成和弦序列。进一步地，所述的步骤S2过程如下：S21、对MIDI文件使用高音轮廓线skyline算法提取主旋律音轨；S22、对MIDI文件使用低音轮廓线landline算法提取伴奏音轨；S23、对主旋律音轨和伴奏音轨序列分别进行C调归一化处理，保证调式统一；S24、对主旋律音轨进行WAV格式音频转换，用于进行增强型PCP主旋律特征提取；S25、伴奏音轨符号数据格式保持不变，用于构建模型的和弦标签文件。进一步地，所述的步骤S3过程如下：S31、将主旋律音频数据通过重复分帧的方式，采用汉明窗函数，相邻两个窗相互重叠半帧长度，进行每窗以采样点数为N＝4096的滑动采样，从而通过傅里叶变换得到主旋律音频数据的能量频谱X(k)；S32、根据乐理中十二平均律，忽略高八度或低八度的影响，只考虑音乐中最低音阶组的十二个音级的频率值，将频域内每个分量与最低音级的频率值分别对应相除，得到十二个频率比，从而完成将分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP主旋律特征向量，公式如下：其中frel是最低音阶组音级的参考频率值，最低音阶组包括音阶C1、D1、E1、F1、G1、A1、B1；fsr是采样频率，N代表采样点数，fsr/N表示傅里叶变换的变换频率间隔，表示频域中每一个分量的频率，因此表示分量与该音级的频率比，将所有对应同一音级频率值的分量根据公式(1)相加，得到十二维的PCP主旋律特征向量：PCP[p]＝∑k:p(k)＝p|X[k]|2，p＝1,2,…，12公式(2)其中X(k)是主旋律音频数据经过傅里叶变换得到的能量频谱，k是傅里叶变换的分量索引，p是十二音级对应的序号；S33、以C4音值对应的频率值f＝261.6Hz为中心频率，进行高斯加窗过滤，公式如下：fsr是采样频率,PCP[p]是公式(2)得到的十二维PCP特征向量，通过中心频率相减后平方，再进行指数变换，减小高低频域的权重，进一步得到滤波后PCP主旋律特征向量；S34、将每一维滤波后PCP主旋律特征向量，除以对应音级所有八度频率分量值的总和，乘以一定压缩系数，再进行对数变换，对特征进行对数压缩，公式如下：是公式(3)得到的滤波后的PCP主旋律特征向量，P[p]sum是对应音级所有八度频率分量值的总和，求得比值并乘以η＝1000的压缩系数，加1求和再对数变换，进行特征的对数压缩，降低冗余度，得到增强型PCP主旋律特征向量。进一步地，所述的步骤S5过程如下：S51、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦；S52、将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中；S53、假设特征彼此不相关，遍历所有的特征向量，状态转移遵循一介马尔可夫性质，统计和弦状态转移次数，和弦出现次数；S54、计算初始概率矩阵，状态转移概率矩阵，各状态观测函数的平均向量以及协方差矩阵，得到参数估计完成训练。进一步地，所述的步骤S6过程如下：S61、提取待识别的主旋律音频数据得到待识别的增强型的PCP主旋律特征向量；S62、将待识别的增强型的PCP主旋律特本文档来自技高网...

【技术保护点】
1.一种自动编配伴奏和弦的方法，其特征在于，所述的方法包括下列步骤：/nS1、对MIDI音频数据进行预处理，删除其中打击乐器音轨，融合相同乐器音轨，得到新的音轨MIDI文件；/nS2、对MIDI文件分别提取主旋律音轨和伴奏音轨，并对两组音轨序列做C调归一化，对主旋律音轨通过格式转换，转变为主旋律音频数据，伴奏音轨格式保持不变；/nS3、对所述的主旋律音频数据进行傅里叶变换得到频谱特征，根据乐理中十二平均律，将频域内每个分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP音级轮廓特征，再通过高斯加窗，降低高低频权重影响，得到滤波后PCP主旋律特征向量；根据对数压缩算法，以一定压缩比例减小特征空间冗余度，得到增强型PCP主旋律特征向量；/nS4、提取所述的伴奏音轨的拍速、音长、音高、节奏、调号，通过拍速和节奏的计算，得到伴奏音轨的小节时长，从而将伴奏音轨分割成若干音乐小节；对每个音乐小节进行和声变换，得到和弦根音以及音程关系，该音程关系包括大调、小调，根据调号、和弦根音以及音程关系，构成该音乐小节的和弦序列，进而构建得到整个伴奏音轨的和弦序列；将伴奏音轨的和弦序列以XML的数据格式保存成和弦标签文件；/nS5、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦，该36种和弦包括三和弦、五和弦、九和弦、十一和弦、十三和弦以及各自的变形和弦，每个模型状态数为六种，分别是四个活动状态、开始状态和停止状态，其中活动状态的观测函数由单一带对角矩阵的高斯观测函数构成；然后将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中进行参数训练；/nS6、提取待识别的主旋律音频数据得到待识别的增强型PCP主旋律特征向量，将待识别的增强型PCP主旋律特征向量输入至已训练的隐马尔可夫模型，预测生成和弦序列。/n...

【技术特征摘要】
1.一种自动编配伴奏和弦的方法，其特征在于，所述的方法包括下列步骤：
S1、对MIDI音频数据进行预处理，删除其中打击乐器音轨，融合相同乐器音轨，得到新的音轨MIDI文件；
S2、对MIDI文件分别提取主旋律音轨和伴奏音轨，并对两组音轨序列做C调归一化，对主旋律音轨通过格式转换，转变为主旋律音频数据，伴奏音轨格式保持不变；
S3、对所述的主旋律音频数据进行傅里叶变换得到频谱特征，根据乐理中十二平均律，将频域内每个分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP音级轮廓特征，再通过高斯加窗，降低高低频权重影响，得到滤波后PCP主旋律特征向量；根据对数压缩算法，以一定压缩比例减小特征空间冗余度，得到增强型PCP主旋律特征向量；
S4、提取所述的伴奏音轨的拍速、音长、音高、节奏、调号，通过拍速和节奏的计算，得到伴奏音轨的小节时长，从而将伴奏音轨分割成若干音乐小节；对每个音乐小节进行和声变换，得到和弦根音以及音程关系，该音程关系包括大调、小调，根据调号、和弦根音以及音程关系，构成该音乐小节的和弦序列，进而构建得到整个伴奏音轨的和弦序列；将伴奏音轨的和弦序列以XML的数据格式保存成和弦标签文件；
S5、构建36个隐马尔可夫模型，其中，36个隐马尔可夫模型分别对应36种和弦，该36种和弦包括三和弦、五和弦、九和弦、十一和弦、十三和弦以及各自的变形和弦，每个模型状态数为六种，分别是四个活动状态、开始状态和停止状态，其中活动状态的观测函数由单一带对角矩阵的高斯观测函数构成；然后将增强型PCP主旋律特征向量与对应的伴奏音轨的和弦标签文件一同输入至36个隐马尔可夫模型中进行参数训练；
S6、提取待识别的主旋律音频数据得到待识别的增强型PCP主旋律特征向量，将待识别的增强型PCP主旋律特征向量输入至已训练的隐马尔可夫模型，预测生成和弦序列。


2.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S2过程如下：
S21、对MIDI文件使用高音轮廓线skyline算法提取主旋律音轨；
S22、对MIDI文件使用低音轮廓线landline算法提取伴奏音轨；
S23、对主旋律音轨和伴奏音轨序列分别进行C调归一化处理，保证调式统一；
S24、对主旋律音轨进行WAV格式音频转换，用于进行增强型PCP主旋律特征提取；
S25、伴奏音轨符号数据格式保持不变，用于构建模型的和弦标签文件。


3.根据权利要求1所述的一种自动编配伴奏和弦的方法，其特征在于，所述的步骤S3过程如下：
S31、将主旋律音频数据通过重复分帧的方式，采用汉明窗函数，相邻两个窗相互重叠半帧长度，进行每窗以采样点数为N＝4096的滑动采样，从而通过傅里叶变换得到主旋律音频数据的能量频谱X(k)；
S32、根据乐理中十二平均律，忽略高八度或低八度的影响，只考虑音乐中最低音阶组的十二个音级的频率值，将频域内每个分量与最低音级的频率值分别对应相除，得到十二个频率比，从而完成将分量展开为十二个频带；针对所有分量得到的十二个频带，将对应同一音级频带的分量相加，进而得到整个频域的十二维PCP主旋律特征向量，公式如下：



其中frel是最低音阶组音级的参考频率...

【专利技术属性】
技术研发人员：韦岗，刘俊伟，曹燕，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44