一种用于乐谱图像识别的电子设备及识别方法技术

本发明专利技术公开的一种用于乐谱图像识别的电子设备及识别方法，包括壳体、发声部件、设置在壳体内的主板以及设置在壳体第一端部的图像扫描部件；主板上设置有主控电路及分别与主控电路电连接的声卡电路和电源电路；通过摄像头获取待处理的五线谱图像传递给主控电路；主控电路对待处理的五线谱图像进行识别，识别出每个完整音符；主控电路根据识别出的完整音符，发送对应的声音数字信号给声卡电路，声卡电路将收到的声音数字信号转换成可播放的模拟信号，传递给发声部件进行播放；本发明专利技术设备解决现有技术中存在的图像采集模块与识别模块分离，使用不便的问题。方法采用音符分类器与卷积神经网络级联进行音符识别，具有识别速度快，识别精度高的优点。

【技术实现步骤摘要】

本专利技术涉及图像识别
，特别涉及一种用于乐谱图像识别的电子设备及识别方法。
技术介绍
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。现有技术中的乐谱图像识别设备，包括图像采集模块和计算机，图像采集模块以拍照或者扫描乐谱的方式采集乐谱的图像数据，输入到计算机中，通过计算机中的识别模块对采集到的图像数据进行分析识别。但是，应用上述的乐谱图像识别设备，存在以下技术问题：图像采集模块与识别模块分离，需要依赖计算机工作，工作过程较长，影响使用的便利性。现有技术中的乐谱图像识别方法，大多基于传统计算机视觉方法，在识别精度和识别速度上不是十分理想，无法做到快速精准识别，甚至需要对待识别的乐谱做出高度规范化要求，不利于日常场景的使用。
技术实现思路
本专利技术实施例的目的在于提供一种用于乐谱图像识别的电子设备及识别方法，可以解决现有技术中的乐谱图像识别设备图像采集模块与识别模块分离，使用不便，及现有技术中的乐谱图像识别方法识别精度和识别速度不理想的问题。为达到上述目的，本专利技术实施例公开了，一种用于乐谱图像识别的电子设备，包括壳体、发声部件、设置在壳体内的主板以及设置在所述壳体第一端部的图像扫描部件；所述主板上设置有主控电路及分别与主控电路电连接的声卡电路和电源电路；所述图像扫描部件包括扫描滚轮以及设置在扫描滚轮上方的摄像头，所述扫描滚轮和摄像头均与所述主控电路电连接；所述摄像头将拍摄的乐谱图像发送给主控电路进行处理；所述发声部件与所述声卡电路相连，按主控电路发送的声音信号发出声音；所述电源电路分别与所述扫描滚轮、摄像头及发声部件电连接为其供电；所述壳体的第二端部设置有电池舱及舱盖，电池舱与主板上的电源电路相连。优选的，所述壳体为笔状壳体；所述图像扫描部件设置在笔状壳体的第一端部；所述发声部件安装在所述图像扫描部件上方，所述图像扫描部件和发声部件使第一端部形成为笔尖状；所述主板安装在笔状壳体内靠近笔尖的位置；所述笔状壳体内设置有至少2个主板安装柱；所述主板通过所述至少2个主板安装柱固定在笔状壳体内。优选的，所述笔状壳体的第二端部设置有电池舱及舱盖，电池舱与主板上的电源电路相连。优选的，所述笔状壳体的第二端部设置有外接电源线，外接电源线与主板上的电源电路相连。本专利技术实施例还公开了，一种乐谱图像识别方法，包括，通过摄像头获取待处理的五线谱图像传递给主控电路；主控电路对待处理的五线谱图像进行识别，识别出每个完整音符；主控电路根据识别出的完整音符，发送对应的声音数字信号给声卡电路，声卡电路将收到的声音数字信号转换成可播放的模拟信号，传递给发声部件进行播放；所述的主控电路对待处理的五线谱图像进行识别，包括，对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积神经网络对分割获得的音符符头进行识别，判断是实心符头还是空心符头，并得到符头的位置；根据所述得到的五线位置坐标、每个完整音符的相对位置、是实心符头还是空心符头及符头的位置，识别出每个完整音符。优选的，所述的音符分类器的训练过程，包括：建立正样本数据集和负样本数据集，数据集中包括定位框的位置数据及定位框内的五线谱图像的图像数据，正样本数据集为包括完整音符的图像数据，负样本数据集为包括除过完整音符之外的其余乐谱可能出现的图像数据；提取正样本数据集和负样本数据集中每个样本的通道特征，训练音符分类器。优选的，所述的对待处理的五线谱图像进行音符定位分割，包括，在待处理的五线谱图像上随机选取若干个候选定位框，逐个扫描定位框，对每个定位框内的图像提取所述的通道特征，将提取的通道特征输入到音符分类器中，判断定位框内的图像为正样本或者为负样本，正样本判定为乐谱中的完整音符，负样本判定为乐谱背景舍弃，从而得到待处理的五线谱图像中的完整音符，对照音符分类器中定位框的位置数据得到每个完整音符在图像中的位置。优选的，所述的卷积神经网络的训练过程，包括，建立音符符头数据集，包括实心符头、空心符头和背景三种分类数据；构建卷积神经网络，包括2个卷积层，2个下采样层和1个全连接层；将音符符头数据集中的符头图像数据输入到卷积神经网络中，完成训练。优选的，所述的采用卷积神经网络对分割获得的音符符头进行识别，包括，将音符定位分割得到的完整音符，输入到卷积神经网络中，通过和音符符头数据集里的数据对比，得出是实心符头、空心符头或者背景，舍弃背景，同时对照音符符头数据集里的符头的位置数据，确定完整音符中符头的位置。优选的，所述的待处理的五线谱图像，具体为：对五线谱图像进行去噪、对比度增强、灰度化、减少噪声或光照不均匀的处理，得到的二值图像。由上述的技术方案可见，本专利技术电子设备实施例通过将发声部件、主板以及图像扫描部件全部集成在一个设备中，大幅度提升了产品的便携性，解决现有技术中存在的图像采集模块与识别模块分离，使用不便的问题。本专利技术识别方法实施例，对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积神经网络对分割获得的音符符头进行识别，判断是实心符头还是空心符头，并得到符头的位置；根据所述得到的五线位置坐标、每个完整音符的相对位置、是实心符头还是空心符头及符头的位置，识别出每个完整音符。相较于传统计算机视觉方法，本专利技术采用音符分类器与卷积神经网络级联进行音符识别，具有识别速度快，识别精度高的优点。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术电子设备的一种实施例结构示意图；图2是本专利技术电子设备实施例中主板的电路示意图；图3是本专利技术电子设备实施例中主板的控制原理图；图4是本专利技术乐谱识别方法第一种实施例的流程图；图5是本专利技术识别方法第一种实施例中主控电路对待处理的五线谱图像进行识别的流程图；图6是本专利技术识别方法第二种实施例中主控电路对待处理的五线谱图像进行识别的流程图；图7是本专利技术乐谱识别方法第二种实施例中单边边缘检测方法原理图；图8是本专利技术乐谱识别方法第二种实施例中五线位置坐标检测的效果图；图9是本专利技术乐谱识别方法第二种实施例中音符分类器的训练过程示意图；图10是本专利技术乐谱识别方法第二种实施例中正样本数据集和负样本数据集的样本示意图；图11是本专利技术乐谱识别方法第二种实施例中音符定位分割的流程图；图12是本专利技术乐谱识别方法第二种实施例中音符定位分割的效果图；图13是本专利技术乐谱识别方法第二种实施例中卷积神经网络的训练过程示意图；图14是本专利技术乐谱识别方法第二种实施例中卷积神经网络结构图；图15是本专利技术乐谱识别方法第二种实施例中音符符头识别的流程图；图中，1.舱盖，2.电池舱，3.主本文档来自技高网...

【技术保护点】
一种用于乐谱图像识别的电子设备，其特征在于，包括壳体、发声部件、设置在壳体内的主板以及设置在所述壳体第一端部的图像扫描部件；所述主板上设置有主控电路及分别与主控电路电连接的声卡电路和电源电路；所述图像扫描部件包括扫描滚轮以及设置在扫描滚轮上方的摄像头，所述扫描滚轮和摄像头均与所述主控电路电连接；所述摄像头将拍摄的乐谱图像发送给主控电路进行处理；所述发声部件与所述声卡电路相连，按主控电路发送的声音信号发出声音；所述电源电路分别与所述扫描滚轮、摄像头及发声部件电连接为其供电；所述壳体的第二端部设置有电池舱及舱盖，电池舱与主板上的电源电路相连。

【技术特征摘要】
1.一种用于乐谱图像识别的电子设备，其特征在于，包括壳体、发声部件、设置在壳体内的主板以及设置在所述壳体第一端部的图像扫描部件；所述主板上设置有主控电路及分别与主控电路电连接的声卡电路和电源电路；所述图像扫描部件包括扫描滚轮以及设置在扫描滚轮上方的摄像头，所述扫描滚轮和摄像头均与所述主控电路电连接；所述摄像头将拍摄的乐谱图像发送给主控电路进行处理；所述发声部件与所述声卡电路相连，按主控电路发送的声音信号发出声音；所述电源电路分别与所述扫描滚轮、摄像头及发声部件电连接为其供电；所述壳体的第二端部设置有电池舱及舱盖，电池舱与主板上的电源电路相连。2.根据权利要求1所述的用于乐谱图像识别的电子设备，其特征在于，所述壳体为笔状壳体；所述图像扫描部件设置在笔状壳体的第一端部；所述发声部件安装在所述图像扫描部件上方，所述图像扫描部件和发声部件使第一端部形成为笔尖状；所述主板安装在笔状壳体内靠近笔尖的位置；所述笔状壳体内设置有至少2个主板安装柱；所述主板通过所述至少2个主板安装柱固定在笔状壳体内。3.根据权利要求2所述的用于乐谱图像识别的电子设备，其特征在于，所述笔状壳体的第二端部设置有电池舱及舱盖，电池舱与主板上的电源电路相连。4.根据权利要求2所述的用于乐谱图像识别的电子设备，其特征在于，所述笔状壳体的第二端部设置有外接电源线，外接电源线与主板上的电源电路相连。5.一种基于权利要求1-4任意一项所述电子设备的乐谱图像识别方法，其特征在于，包括，通过摄像头获取待处理的五线谱图像传递给主控电路；主控电路对待处理的五线谱图像进行识别，识别出每个完整音符；主控电路根据识别出的完整音符，发送对应的声音数字信号给声卡电路，声卡电路将收到的声音数字信号转换成可播放的模拟信号，传递给发声部件进行播放；所述的主控电路对待处理的五线谱图像进行识别，包括，对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积...

【专利技术属性】
技术研发人员：宋晴，杨录，贾文赫，王智慧，杨李怡，刘小欧，辛学仕，陈海鹏，杨敏，姜佳男，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11