一种基于声乐特征的个性化歌曲推荐方法技术

本发明专利技术实施例公开了一种基于声乐特征的个性化歌曲推荐系统。该方法包括如下步骤：特征提取步骤：提取歌唱数据的音域特征、速度特征和音色特征，其中音域特征包括绝对音域和相对音域，速度特征是每分钟节拍数，音色特征是梅尔频率倒谱系数训练的高斯混合模型。系统推荐步骤：将用户演唱片段用关键音匹配算法找到音乐库中的对应歌曲，进行音域适合度检测、歌曲适合度检测、歌手适合度检测。用提取的用户特征进行歌手推荐和歌曲推荐。利用本发明专利技术实施例，可以实现评价当前演唱歌曲是否适合用户演唱，并进一步推荐与用户声乐能力相匹配的歌手和适合用户演唱的歌曲。从用户演唱的角度出发，将传统的音乐推荐范围进行了推广，具有很高的实用价值。

【技术实现步骤摘要】

本专利技术属于音频处理领域，着重描述了一种基于歌唱内容的个性化歌曲推荐系统。
技术介绍
音乐推荐是为广大用户提供符合个人兴趣爱好的音乐的技术。该技术在数字音乐快速发展、音乐资源飞速增长的今天具有重要的研究及应用价值。歌曲推荐是音乐推荐的分支，在歌曲市场蓬勃发展的今天，歌曲推荐成为歌曲市场的重点发展方向。目前，音乐推荐的主要方法有基于内容的推荐、协同过滤推荐、基于关联规则的推荐、基于知识的推荐以及组合推荐等。基于内容的推荐，主要针对音乐本身的声学性质，通过提取特征参数并计算它们之间的相似度来获得内容较为一致的音乐。协同过滤推荐，主要根据用户过去的行为选择，识别出一组具有相似兴趣的用户并计算他们之间的距离，然后利用这些相似用户对于音乐的评价来预测目标用户的兴趣爱好。基于关联规则的推荐，根据当前用户的收藏记录，通过音乐之间的相关性推算出用户还没有收藏的音乐，之后依据规则的重要程度，将这些音乐排列形成列表推荐给用户。基于知识的推荐，是一种基于推理的方法，能够给出用户和音乐之间的联系，用户提供的资料或偏好信息是能够支持推理的知识结构。组合推荐，以组合的形式将上述方法整合起来应用。协同过滤推荐是当前音乐推荐系统中应用最早、最为广泛的方法。利用这种推荐方法得到的音乐，往往是评分较高、受欢迎的音乐，而一些新加入的音乐由于没有足够的时间关注因此很难被推荐给用户。传统的基于内容的推荐，提取像情感这类抽象参数时一般采用人工标注的方法，如此一来，特征的表达掺入了主观成分，具有了一些不确定因素。本专利技术所描述的基于歌唱内容的个性化歌曲推荐系统，不再聚焦于为用户推荐可能喜欢听的音乐，而是旨在推荐与用户声乐能力相匹配的歌手和适合用户演唱的歌曲。从用户演唱的角度出发，将传统的音乐推荐范围进行了推广。
技术实现思路
为了实现推荐与用户声乐能力相匹配的歌手和适合用户演唱的歌曲，本专利技术提供一种基于歌唱内容的个性化歌曲推荐系统。系统实现包括以下步骤：一.特征提取步骤：A、音域特征提取步骤：读入歌唱数据并通过快速傅里叶变换得到频谱，将每帧信号频谱值最大处对应的频率作为备选音高，并将其作为二到五次谐波时对应的基频加入到备选音高集合中。计算每帧信号的备选音高集合中每个备选音高的选中概率，选中概率最大的备选音高即为该帧的预测音高。对初始预测音高序列进行去孤立点，得到最终预测音高序列。找出音高序列的最高音和最低音，计算绝对音域和相对音域。B、速度特征提取步骤：利用小波变换得到原始歌唱信号的一系列子频带，对每一个子频带分别做低通滤波、下采样，得到时域上的振幅包络，再对其求和并做自相关函数分析，将得到的前5个峰值的每分钟节拍数(BPM,Beats Per Minute)相加得到速度特征。C、音色特征提取步骤：提取歌唱数据的39阶梅尔频率倒谱系数(MFCC,Mel Frequency Cepstrum Coefficient)，用其训练该歌唱片段的含64个成分的高斯混合模型。二.系统推荐步骤：将用户演唱片段用关键音匹配算法找到音乐库中的对应歌曲，进行音域适合度检测、歌曲适合度检测、歌手适合度检测。用提取的用户特征进行歌手推荐和歌曲推荐。根据本专利技术的一种基于歌唱内容的个性化歌曲推荐系统，步骤A所描述的备选音高集合表达式为：其中，fi表示当前帧的第i个备选音高，fmax表示当前帧的频谱峰值对应的频率。每个备选音高的选中概率为：其中，hm为压缩因子(hm＝0.55m-1)，A(nf)是f的n次谐波对应的频谱幅度。判定初始预测音高序列中正常点的规则如下：其中，nseg是歌唱片段的分帧数，60为同音判定值(人歌唱音域范围内相邻半音频率最大差值小于60Hz)。根据本专利技术的一种基于歌唱内容的个性化歌曲推荐系统，步骤B中描述的子频带计算公式为：其中，x(k)为歌唱信号，ψ(n)为小波基函数。自相关函数分析表达式如下：其中，N为歌唱信号点数。根据本专利技术的一种基于歌唱内容的个性化歌曲推荐系统，步骤C中描述的训练的高斯混合模型表达式为：其中，πk为第k个高斯模型的权重。根据本专利技术的一种基于歌唱内容的个性化歌曲推荐系统，步骤二中所描述的关键音匹配算法步骤如下：1)用户哼唱片段记为User(n)，音乐库中的片段记为Music(N)。用户哼唱片段序列和音乐库片段序列为二维向量序列<pitch,duration>，其中pitch表示当前关键音的音高，duration表示当前关键音的音长。在Music(N)中寻找与User(n)可能相似的片段。①对Music(N)和User(n)进行关键音提取，得到各自的关键音序列Musicp(M)和Userp(m)，M和m为关键音序列的长度。关键音序列为三维向量序列<changetime,difference,position>，其中changetime表示当前关键音与前一个关键音之间音高改变的次数，difference表示当前关键音与前一个关键音音高的差值，position表示当前关键音在旋律序列中的位置。②比较关键音序列Musicp(M)和Userp(m)，确定Music(N)中可能与User(n)相似的片段，进行关键音匹配。2)根据步骤1)中找到的相似片段，将User(n)的整体音高调整到与Music(N)一致，哼唱速度调整到与原唱速度一致。3)计算User(n)和Music(N)的相似度。①对User(n)和Music(N)进行时间的交叉划分，得到User(m)和Music(M)。②对User(m)和Music(M)进行音长的交叉划分，得到User(t)和Music(t)，序列长度为T。这两个序列的音高分量序列和音长分量序列分别记为Userp(t)、Userd(t)、Musicp(t)、Musicd(t)。③按下式计算用户哼唱片段和音乐库片段的相似度：Similarity值越小，相似度越高；Similarity＝0时，代表两段旋律完全相同。根据本专利技术的一种基于歌唱内容的个性化歌曲推荐系统，步骤二中所描述的音域适合度检测返回用户歌唱音域(绝对音域和相对音域)、用户歌唱音域属性(较窄/正常/较宽)。其中，绝对音域的表示形式为音符加八度标号(系统设置的歌唱音域范围为[C2,C6])，相对音域的计算式如下：其中，fhighest为最高音对应频率，flowest为最低音对应频率，相对音域以八度形式计。用户歌唱音域属性按以下规则判定：歌曲适合度检测返回当前演唱歌曲是否适合用户演唱并给出原因。检测使用的特征是音域特征和速度特征：音域特征的比较步骤。①比较绝对音域——若用户绝对音域在歌曲绝对音域范围内，则该歌曲可以演唱，否则不可以直接演唱。若不可以直接演唱，则进行步骤②。②比较相对音域——若用户相对音域不小于歌曲相对音域，则该歌曲可以选择转调演唱，否则该歌曲无法演唱。速度特征的比较。判定规则如下：歌手适合度检测返回当前演唱歌曲的原唱歌手是否适合用户演唱并给出原因。检测使用的特征是音域特征和音色特征：音域特征的比较。由于歌手的音域范围一般都大于用户的音域范围，所以将歌手音域特征比较的条件放宽。步骤如下：①比较绝对音域——若用户绝对音域在歌手绝对音域的±14个半音范围内，则用户可以演唱该歌手的歌曲，否则不可以直接演唱。若不可以直接本文档来自技高网...

【技术保护点】
一种基于声乐特征的个性化歌曲推荐系统，其特征在于，包括以下步骤：一.特征提取步骤：A、音域特征提取：从歌唱数据中提取出每帧的备选音高集合；计算备选音高的选中概率，取概率最大者为输出音高，得到初始音高序列；对初始音高序列去孤立点，得到最终预测音高序列；找出音高序列的最高音和最低音，计算绝对音域和相对音域；B、速度特征提取：利用小波变换得到原始歌唱信号的一系列子频带；对每一个子频带分别做低通滤波、下采样，得到时域上的振幅包络；对其求和并做自相关函数分析，将得到的前5个峰值的BPM值相加得到速度特征；C、音色特征提取：提取歌唱数据的39阶梅尔频率倒谱系数(MFCC,Mel Frequency Cepstrum Coefficient)，用其训练该歌唱片段的含64个成分的高斯混合模型；二.系统推荐步骤：将用户演唱片段用关键音匹配算法找到音乐库中的对应歌曲；进行适合度检测，包括音域适合度检测、歌曲适合度检测、歌手适合度检测；用提取的用户特征进行歌手推荐和歌曲推荐。

【技术特征摘要】
1.一种基于声乐特征的个性化歌曲推荐系统，其特征在于，包括以下步骤：一.特征提取步骤：A、音域特征提取：从歌唱数据中提取出每帧的备选音高集合；计算备选音高的选中概率，取概率最大者为输出音高，得到初始音高序列；对初始音高序列去孤立点，得到最终预测音高序列；找出音高序列的最高音和最低音，计算绝对音域和相对音域；B、速度特征提取：利用小波变换得到原始歌唱信号的一系列子频带；对每一个子频带分别做低通滤波、下采样，得到时域上的振幅包络；对其求和并做自相关函数分析，将得到的前5个峰值的BPM值相加得到速度特征；C、音色特征提取：提取歌唱数据的39阶梅尔频率倒谱系数(MFCC,Mel Frequency Cepstrum Coefficient)，用其训练该歌唱片段的含64个成分的高斯混合模型；二.系统推荐步骤：将用户演唱片段用关键音匹配算法找到音乐库中的对应歌曲；进行适合度检测，包括音域适合度检测、歌曲适合度检测、歌手适合度检测；用提取的用户特征进行歌手推荐和歌曲推荐。2.根据权利要求1所述的个性化歌曲推荐中步骤一A的特征在于，在得到初始预测音高序列后进行去孤立点，判断该点是正常点的规则是该点音高与前一点和后一点的音高一致(频率差不超过60Hz)。得到最终预测音高序列后，绝对音域为最低音到最高音的区间，相对音域是该区间对应的八度个数。3.根据权利要求1所述的个性化歌曲推荐中步骤二的特征在于，用关键音匹配算法找到用户当前演唱的歌曲，进行三种适合度检测，根据用户演唱特征进行推荐工作。4.根据权利要求3中三种适合度检测中音域适合度检测的特征在于,返回用户歌唱音域(绝对音域和相对音域)、用户歌唱音域属性(较窄/正常/较宽)；其中，绝对音域的表示形式为音符加八度标号(系统设置的歌唱音域范围为[C2,C6])，相对音域以绝对音域对应了几个八度计。用户歌唱音域判定规则：若相对音域<1，则用户歌唱音域较窄；若1≤相对音域≤1.75，则用户歌唱音域正常；若相对音域>1.75，则用户歌唱音域较宽。5.根据权利要求3中三种适合度检测中歌曲适合...

【专利技术属性】
技术研发人员：马占宇，冯楚祎，司中威，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11