一种基于音频特征的细粒度音乐节奏提取系统及方法技术方案

本发明专利技术实施例公开了一种基于音频特征的细粒度音乐节奏提取系统及方法，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。本发明专利技术解决了现有音乐提取系统不能准确提取拟合音乐节奏的问题。

A fine-grained music rhythm extraction system and method based on audio features

The embodiment of the invention discloses a fine-grained music rhythm extraction system and method based on audio features, the system includes: noise removal module, audio separation module, feature extraction module, feature combination module and output module, the noise removal module eliminates the noise in songs, the audio separation module extracts the accompaniment track and rhythm instrument track in songs, and the features The extraction module extracts the beat and head in the accompaniment track or rhythm instrument track. The feature combination module processes the extracted beat and head with a hybrid algorithm to obtain the audio data with prominent rhythm features. The output module outputs the audio data with prominent rhythm features as Python data interface, and the external device obtains the song rhythm features from Python data interface. The invention solves the problem that the existing music extraction system can not accurately extract and fit the music rhythm.

【技术实现步骤摘要】
一种基于音频特征的细粒度音乐节奏提取系统及方法
本专利技术实施例涉及音乐处理
，具体涉及一种基于音频特征的细粒度音乐节奏提取系统及方法。
技术介绍
音乐节奏提取广泛应用于各种音乐系统中，小到市场常见的玩具，大到目前流行的音乐喷泉都用到音乐的节奏提取技术。播放音乐时，把音乐的节奏提取出来，去控制外围机械设备，使整个音乐系统的动作和播放的音乐节奏相呼应，即行为和声音同步，给人们视觉和听觉的享受。近年来，随着计算机技术、通信技术以及多媒体技术的交互发展日趋成熟，计算机作为一种强大的计算分析工具不断渗透到社会的各个领域和生活的各个层面。人们也越来越期望能借助计算机来模拟、分析和表达人类的各种主观智能活动，比如人的思维、情感等等，来更好理解和复现作为社会主体的人的内心世界。随着计算机技术在多媒体领域充分的研究与应用，多媒体业务也因而取得了飞速的发展，并成为21世纪发展最快、规模最大的产业之一。而音乐作为多媒体音频数据中最重要的一种表达方式，它通过计算机把音乐各种基本要素进行巧妙组合，从而展现出一个丰富的情感世界，是一种表现人类情感的优雅艺术。悦耳的音乐不仅可以是人心情舒畅，还可以提高人的工作效率，甚至改善人们对生活的信念。因此，作为一种最贴近于人类思维的音乐领域，受到越来越多的计算机研究者们的关注。目前，在美国、西欧和日本的不少科研院所和大学相继成立了专门研究计算机音乐的机构。基于节奏在音乐表达中的重要地位和在多媒体应用的广泛性，节奏提取成为计算机音乐分析中一个重要的热点，在计算机多媒体及其他领域有着广阔的应用空间。传统的音乐节奏提取过程只是简单提取音乐的Beats、Bpm等信息，局限性较大，不能清晰、明确地反映出音乐的节奏特征，旁白、人声、噪音干扰多，可应用场景较少。
技术实现思路
为此，本专利技术实施例提供一种基于音频特征的细粒度音乐节奏提取系统及方法，以解决现有音乐提取系统不能准确提取拟合音乐节奏的问题。为了实现上述目的，本专利技术实施例提供如下技术方案：根据本专利技术实施例的第一方面，公开了一种基于音频特征的细粒度音乐节奏提取系统，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。进一步地，所述去噪模块对歌曲中的人声、自然声音进行检测，识别噪声的频率，对噪声进行提取并剪除噪声。进一步地，所述音频分离模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型消除人声并提取伴奏，利用多尺度神经网络中的STL2模型对乐器轨道进行分离，得到伴奏轨道和节奏乐器轨道。进一步地，所述音频分离模块针对节奏感强的音乐，利用节奏乐器轨道进行特征提取，针对节奏感弱的音乐，利用伴奏轨道进行特征提取。进一步地，所述特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据，对音头数据进行调参。进一步地，所述音头数据调参的过程为：对原始音头数据进行可选预处理，得到声音信号，对声音信号进行缩减处理得到检测函数，对检测函数进行峰值检测，实现音头定位。进一步地，所述特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留，节拍数据和音头数据合并后，将原节拍数据标记为heavy，原音头数据标记为light。进一步地，所述输出模块将合并后的节拍数据和音头数据融合为python数据接口，外部设备从python数据接口调取歌曲节奏数据。根据本专利技术实施例的第二方面，公开了一种基于音频特征的细粒度音乐节奏提取方法，所述方法为：利用去噪模块对原始音乐数据进行去噪处理，去除音乐中的人声旁白、雷雨声、风声、海浪声、鸟叫声，获取音乐伴奏；通过音频分离模块利用多尺度神经网络对歌曲进行轨道分离，得到伴奏轨道和节奏乐器轨道；特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据；特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留；输出模块将合并后的节拍数据和音头数据融合为python数据接口，通过python数据接口获取音乐的节奏数据。本专利技术实施例具有如下优点：本专利技术实施例公开了一种基于音频特征的细粒度音乐节奏提取系统及方法，通过去噪模块消除音乐中的噪声，利用音频分离模块分离出伴奏轨道和节奏乐器轨道，通过特征提取模块从伴奏轨道和节奏乐器轨道中提取节拍和音头，特征合并模块将节拍和音头进行合并处理，剔除与节拍数据重复的音头数据，对节拍数据进行保留，通过输出模块将将合并后的节拍数据和音头数据融合为python数据接口，准确获取音乐的节奏，降低音乐节奏获取成本，便于根据音乐节奏进行视觉元素的调整。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。图1为本专利技术实施例1提供的一种于音频特征的细粒度音乐节奏提取系统的流程图；具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1本实施例公开了一种基于音频特征的细粒度音乐节奏提取系统，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模本文档来自技高网...

【技术保护点】
1.一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。/n

【技术特征摘要】
1.一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。


2.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述去噪模块对歌曲中的人声、自然声音进行检测，识别噪声的频率，对噪声进行提取并剪除噪声。


3.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述音频分离模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型消除人声并提取伴奏，利用多尺度神经网络中的STL2模型对乐器轨道进行分离，得到伴奏轨道和节奏乐器轨道。


4.如权利要求3所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述音频分离模块针对节奏感强的音乐，利用节奏乐器轨道进行特征提取，针对节奏感弱的音乐，利用伴奏轨道进行特征提取。


5.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据，对音头数据进行调参。


6.如权利要求5所述的一种基于音频特征的细粒度音乐节奏提取系统...

【专利技术属性】
技术研发人员：杨辞源，孟泽，任续超，张学斌，
申请(专利权)人：黑盒子科技北京有限公司，
类型：发明
国别省市：北京;11