一种基于卷积神经网络的古筝简谱识别方法及系统技术方案

本发明专利技术提供了乐谱识别技术领域的一种基于卷积神经网络的古筝简谱识别方法及系统，方法包括如下步骤：步骤S10、获取古筝简谱图像，并对所述古筝简谱图像进行预处理；步骤S20、通过投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行；步骤S30、结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取所述属性行和音符行的简谱特征；步骤S40、将各所述简谱特征填入mus i cXML模板中，完成古筝简谱的识别。本发明专利技术的优点在于：极大的提升了古筝简谱的识别精度。极大的提升了古筝简谱的识别精度。极大的提升了古筝简谱的识别精度。

【技术实现步骤摘要】
一种基于卷积神经网络的古筝简谱识别方法及系统


[0001]本专利技术涉及乐谱识别
，特别指一种基于卷积神经网络的古筝简谱识别方法及系统。

技术介绍

[0002]乐谱是一种用符号来记录音乐的方法，对于音乐的初学者来说，如何读懂乐谱至关重要，如果不能掌握乐谱，也就不能演奏出美妙的音乐，因此产生了识别乐谱以进行辅助教学的需求，类似英语点读机识别英文单词。然而，针对古筝简谱的识别，传统的方法容易受古筝简谱印刷质量的影响，即古筝简谱产生印刷问题或者印刷不清晰时，识别精度将大打折扣。
[0003]因此，如何提供一种基于卷积神经网络的古筝简谱识别方法及系统，实现提升古筝简谱的识别精度，成为一个亟待解决的技术问题。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种基于卷积神经网络的古筝简谱识别方法及系统，实现提升古筝简谱的识别精度。
[0005]第一方面，本专利技术提供了一种基于卷积神经网络的古筝简谱识别方法，包括如下步骤：
[0006]步骤S10、获取古筝简谱图像，并对所述古筝简谱图像进行预处理；
[0007]步骤S20、通过投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行；
[0008]步骤S30、结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取所述属性行和音符行的简谱特征；
[0009]步骤S40、将各所述简谱特征填入musicXML模板中，完成古筝简谱的识别。
[0010]进一步地，所述步骤S10具体为：
[0011]获取古筝简谱图像，并对所述古筝简谱图像进行灰度二值化的预处理。
[0012]进一步地，所述步骤S20具体为：
[0013]通过水平垂直投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行，并丢弃所述汉字行。
[0014]进一步地，所述步骤S30具体为：
[0015]通过卷积神经网络创建的调号识别模型，从所述属性行识别调号；
[0016]通过水平投影法确定所述属性行里拍号的分数线，再通过卷积神经网络创建的拍号识别模型，从所述属性行识别拍号；
[0017]通过边缘检测法从所述音符行里识别音符，通过卷积神经网络创建的音级识别模型识别所述音符的音级，通过投影法获取所述音符的音符类型，通过边缘检测法以及投影法获取所述音符的音高；
[0018]删除识别出的所述音符，接着通过垂直投影法确定所述音符行里的小节线；
[0019]基于所述音符类型确定倚音；
[0020]设定一距离阈值，从所述音符行的一个黑点开始，将所述距离阈值内的所有黑点纳入同一个轮廓框，通过卷积神经网络创建的指法识别模型识别所述轮廓框内的指法；
[0021]基于所述指法以及连音的位置和大小，从所述音符行里识别出连音。
[0022]进一步地，所述步骤S40具体为：
[0023]将各所述调号、拍号、音符、小节线、倚音、指法以及连音填入musicXML模板中，完成古筝简谱的识别。
[0024]第二方面，本专利技术提供了一种基于卷积神经网络的古筝简谱识别系统，包括如下模块：
[0025]古筝简谱图像预处理模块，用于获取古筝简谱图像，并对所述古筝简谱图像进行预处理；
[0026]古筝简谱图像分行模块，用于通过投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行；
[0027]简谱特征提取模块，用于结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取所述属性行和音符行的简谱特征；
[0028]musicXML模板更新模块，用于将各所述简谱特征填入musicXML模板中，完成古筝简谱的识别。
[0029]进一步地，所述古筝简谱图像预处理模块具体为：
[0030]获取古筝简谱图像，并对所述古筝简谱图像进行灰度二值化的预处理。
[0031]进一步地，所述古筝简谱图像分行模块具体为：
[0032]通过水平垂直投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行，并丢弃所述汉字行。
[0033]进一步地，所述简谱特征提取模块具体为：
[0034]通过卷积神经网络创建的调号识别模型，从所述属性行识别调号；
[0035]通过水平投影法确定所述属性行里拍号的分数线，再通过卷积神经网络创建的拍号识别模型，从所述属性行识别拍号；
[0036]通过边缘检测法从所述音符行里识别音符，通过卷积神经网络创建的音级识别模型识别所述音符的音级，通过投影法获取所述音符的音符类型，通过边缘检测法以及投影法获取所述音符的音高；
[0037]删除识别出的所述音符，接着通过垂直投影法确定所述音符行里的小节线；
[0038]基于所述音符类型确定倚音；
[0039]设定一距离阈值，从所述音符行的一个黑点开始，将所述距离阈值内的所有黑点纳入同一个轮廓框，通过卷积神经网络创建的指法识别模型识别所述轮廓框内的指法；
[0040]基于所述指法以及连音的位置和大小，从所述音符行里识别出连音。
[0041]进一步地，所述musicXML模板更新模块具体为：
[0042]将各所述调号、拍号、音符、小节线、倚音、指法以及连音填入musicXML模板中，完成古筝简谱的识别。
[0043]本专利技术的优点在于：
[0044]通过对获取的古筝简谱图像进行灰度二值化的预处理，再通过投影法对预处理后的古筝简谱图像进行分行，接着结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取分行得到的属性行和音符行的简谱特征，最后将简谱特征填入musicXML模板以完成古筝简谱的识别，即针对每种简谱特征各自的特点分别采取不同的方法来进行提取，以克服印刷问题，最终极大的提升了古筝简谱的识别精度。
附图说明
[0045]下面参照附图结合实施例对本专利技术作进一步的说明。
[0046]图1是本专利技术一种基于卷积神经网络的古筝简谱识别方法的流程图。
[0047]图2是本专利技术一种基于卷积神经网络的古筝简谱识别系统的结构示意图。
具体实施方式
[0048]本申请实施例中的技术方案，总体思路如下：结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取古筝简谱图像分行得到的属性行和音符行的简谱特征，即针对每种简谱特征各自的特点分别采取不同的方法来进行提取，以克服印刷问题，以提升古筝简谱的识别精度。
[0049]请参照图1至图2所示，本专利技术一种基于卷积神经网络的古筝简谱识别方法的较佳实施例，包括如下步骤：
[0050]步骤S10、获取古筝简谱图像，并对所述古筝简谱图像进行预处理；
[0051]步骤S20、通过投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行；
[0052]步骤S30、结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取所述属性行和音符行的简谱特征；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的古筝简谱识别方法，其特征在于：包括如下步骤：步骤S10、获取古筝简谱图像，并对所述古筝简谱图像进行预处理；步骤S20、通过投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行；步骤S30、结合卷积神经网络、投影法、模板匹配法以及边缘检测法，提取所述属性行和音符行的简谱特征；步骤S40、将各所述简谱特征填入musicXML模板中，完成古筝简谱的识别。2.如权利要求1所述的一种基于卷积神经网络的古筝简谱识别方法，其特征在于：所述步骤S10具体为：获取古筝简谱图像，并对所述古筝简谱图像进行灰度二值化的预处理。3.如权利要求1所述的一种基于卷积神经网络的古筝简谱识别方法，其特征在于：所述步骤S20具体为：通过水平垂直投影法对预处理后的所述古筝简谱图像进行分行，得到属性行、音符行以及汉字行，并丢弃所述汉字行。4.如权利要求1所述的一种基于卷积神经网络的古筝简谱识别方法，其特征在于：所述步骤S30具体为：通过卷积神经网络创建的调号识别模型，从所述属性行识别调号；通过水平投影法确定所述属性行里拍号的分数线，再通过卷积神经网络创建的拍号识别模型，从所述属性行识别拍号；通过边缘检测法从所述音符行里识别音符，通过卷积神经网络创建的音级识别模型识别所述音符的音级，通过投影法获取所述音符的音符类型，通过边缘检测法以及投影法获取所述音符的音高；删除识别出的所述音符，接着通过垂直投影法确定所述音符行里的小节线；基于所述音符类型确定倚音；设定一距离阈值，从所述音符行的一个黑点开始，将所述距离阈值内的所有黑点纳入同一个轮廓框，通过卷积神经网络创建的指法识别模型识别所述轮廓框内的指法；基于所述指法以及连音的位置和大小，从所述音符行里识别出连音。5.如权利要求4所述的一种基于卷积神经网络的古筝简谱识别方法，其特征在于：所述步骤S40具体为：将各所述调号、拍号、音符、小节线、倚音、指法以及连音填入musicXML模板中，完成古筝简谱的识别。6.一种基于卷积神经网络的古筝简谱识别系统，其特征在于：包括如下模块...

【专利技术属性】
技术研发人员：姚俊峰，王薪蕾，许梅燕，
申请(专利权)人：厦门大学，
类型：发明
国别省市：