一种基于手部识别的弦乐器音符比对系统及其使用方法技术方案

本发明专利技术公开了一种基于手部识别的弦乐器音符比对系统，包括显示屏、摄像装置、手部关键点识别装置和智能终端，所述显示器与智能终端通信连接，所述智能终端与手部关键点识别装置通信连接，所述手部关键点识别装置与摄像装置通信连接。本发明专利技术还公开了基于手部识别的弦乐器音符比对系统的使用方法。本发明专利技术的弦乐器音符比对系统能够准确、实时地将弦乐器与吉他用户演奏声音转化成通用的MIDI音频数字信号，方便计算机传输与处理；让用户实时得到自己演奏音符与师傅演奏音符的差别，客观准确地评价自己的演奏水平；教琴者更加直观的得到弹奏者练琴的各项数据，让教琴者更加准确地评价弹奏者的演奏水平，给出指导意见，实现智能教学。

【技术实现步骤摘要】
一种基于手部识别的弦乐器音符比对系统及其使用方法
本专利技术涉及乐器教学辅助领域，特别涉及一种基于手部识别的弦乐器音符比对系统及其使用方法。
技术介绍
随着人工智能技术尤其是计算机视觉技术的不断成熟，手部识别的精度已经运用到精度要求较高的场景中，弦乐器按动弦琴的手势与音符一一对应，因此可以通过手部识别的方式识别乐器正在发出的声音，并将其转换成数据。随着电子科学和信息技术的发展，出现了智能吉他、智能钢琴等智能乐器，越来越多的人在教授或练习乐器时使用智能乐器，但智能乐器往往依赖于电子乐器内置的元器件，意味着拥有乐器的学习者还需要额外花费费用购买一件新的电子乐器；此外，针对弦乐器尤其是吉他的智能乐器较少，且智能乐器的硬件系统是基于接触传感的原理，容易损坏乐器的木质结构，所以不适合木质弦乐器。
技术实现思路
专利技术目的：针对以上问题，本专利技术目的是提供一种基于手部识别的弦乐器音符比对系统，在弹奏弦乐器时利用手部识别技术识别乐器发出声音中的音符，辨别弹奏力度、高音、音符时值，本专利技术另一目的是提供该弦乐器音符比对系统的使用方法。技术方案：本专利技术提出了一种基于手部识别的弦乐器音符比对系统，包括显示屏、摄像装置、手部关键点识别装置和智能终端，所述显示器与智能终端通信连接，所述智能终端与手部关键点识别装置通信连接，所述手部关键点识别装置与摄像装置通信连接；所述摄像装置：采集演奏弦乐器时用户按动琴弦手部真实图像；所述手部关键点识别装置：用来接收摄像装置传来的手部真实图像，并进行数据处理和分析，对演奏效果进行实时评判和评估；所述智能终端：显示乐谱，以及将所演奏音符数字信号与师傅MIDI音频数字信号进行比对；所述显示屏：以音符为单位实时显示用户演奏所对应的乐谱。所述手部关键点识别装置包括采集模块、提取模块、识别模块、记录模块和MIDI数据处理模块，所述采集模块与提取模块通信连接，所述提取模块与识别模块通信连接，所述识别模块与记录模块通信连接，所述记录模块与MIDI数据处理模块通信连接，所述采集模块接收到手部真实图像后，通过提取模块提取手部关键点，通过手部识别模型将手部关键点坐标记录成相应的琴弦位置，再根据琴弦位置生成相应的MIDI音频数字信号，MIDI数据处理模块将用户的MIDI音频音频数字信号与预制好的师傅MIDI音频数字信号实时进行比对，对演奏效果进行实时评判和评估。所述智能终端内存储有师傅MIDI音频数字信号，来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。所述师傅MIDI音频数字信号在智能终端或者显示屏上进行可视化显示，显示方式包括五线谱、六线谱或简谱。所述智能终端为智能平板、智能手机、智能电视或智能投影仪。所述弦乐器音符比对系统的使用模式分为练习模式和演奏模式两种：当使用练习模式时，实时同步播放师傅MIDI音频数字信号中的音符，将接收到用户的MIDI音频数字信号与之对比，如果MIDI音频数字信号的音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放师傅MIDI音频数字信号中下一个音符；若大于错误阈值，显示并提醒演奏错误的信息，停止播放师傅MIDI音频数字信号；当使用演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束手，将用户的MIDI音频数字信号与师傅MIDI音频数字信号进行比对，评估总体差异，为用户此次演奏打分。所述错误阈值包括但不限于：高音不正确、力度差异过大、音符时值过长及音符时值过短。所述弦乐器音符比对系统设置有自定义功能，用户自己设置演奏时长、演奏音符数目、演奏起始时间及演奏结束时间。所述弦乐器音符比对系统适用于吉他。本专利技术提出了基于手部识别的弦乐器音符比对系统的使用方法，包括以下步骤：(1)通过摄像装置采集用户演奏时按动琴弦时手部真实图像，并将手部真实图像实时传输到手部关键点识别装置；(2)以音符为单位，手部关键点识别装置将手部真实图像实时识别并记录为用户的MIDI音频数字信号，其中MIDI音频数字信号的数据包括：高音、音符时值、音符事件起始时间、音符事件结束时间、音符力度以及演奏中的第几个音符；(3)将用户的MIDI音频数字信号与师傅MIDI音频数字信号进行实时比对，对用户的演奏效果进行评判和评估。有益效果：本专利技术与现有技术相比，其显著优点是：1、本专利技术能够准确、实时地将弦乐器与吉他用户演奏声音转化成通用的MIDI音频数字信号，方便计算机传输与处理；2、让用户实时得到自己演奏音符与师傅演奏音符的差别，客观准确地评价自己的演奏水平，同时提高了用户辨别弹奏的力度、高音及音符时值的能力；3、通过智能终端来显示五线谱、六线谱及简谱格式的谱子，提高了用户获取谱面信息和自己演奏水平的效率；4、教琴者更加直观的得到弹奏者练琴的各项数据，让教琴者更加准确地评价弹奏者的演奏水平，给出指导意见，实现智能教学。附图说明图1为本专利技术基于手部识别的弦乐器音符比对系统原理图；图2为本专利技术基于手部识别的弦乐器音符比对系统使用方法流程图。具体实施方式如图1，本专利技术的本专利技术提出了一种基于手部识别的弦乐器音符比对系统，包括显示屏、摄像装置、手部关键点识别装置和智能终端，显示器与智能终端通信连接，智能终端与手部关键点识别装置通信连接，手部关键点识别装置与摄像装置通信连接。手部关键点识别装置包括采集模块、提取模块、识别模块、记录模块和MIDI数据处理模块，采集模块与提取模块通信连接，提取模块与识别模块通信连接，识别模块与记录模块通信连接，记录模块与MIDI数据处理模块通信连接，采集模块接收到手部真实图像后，通过提取模块提取手部关键点，通过手部识别模型将手部关键点坐标记录成相应的琴弦位置，再根据琴弦位置生成相应的MIDI音频数字信号，MIDI数据处理模块将用户的MIDI音频音频数字信号与预制好的师傅音频数字信号实时进行比对，对演奏效果进行实时评判和评估。智能终端内存储有师傅MIDI音频数字信号，来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。师傅MIDI音频数字信号在智能终端或者显示屏上进行可视化显示，显示方式包括五线谱、六线谱或简谱。智能终端为智能平板、智能手机、智能电视或智能投影仪。弦乐器音符比对系统的使用模式分为练习模式和演奏模式两种：当使用练习模式时，实时同步播放师傅MIDI音频数字信号中的音符，将接收到用户的MIDI音频数字信号与之对比，如果MIDI音频数字信号的音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放师傅MIDI音频数字信号中下一个音符；若大于错误阈值，显示并提醒演奏错误的信息，停止播放师傅MIDI音频数字信号；当使用演奏模式时，连续播放师傅MIDI音频数字信本文档来自技高网...

【技术保护点】
1.一种基于手部识别的弦乐器音符比对系统，其特征在于，包括显示屏、摄像装置、手部关键点识别装置和智能终端，所述显示器与智能终端通信连接，所述智能终端与手部关键点识别装置通信连接，所述手部关键点识别装置与摄像装置通信连接。/n

【技术特征摘要】
1.一种基于手部识别的弦乐器音符比对系统，其特征在于，包括显示屏、摄像装置、手部关键点识别装置和智能终端，所述显示器与智能终端通信连接，所述智能终端与手部关键点识别装置通信连接，所述手部关键点识别装置与摄像装置通信连接。


2.根据权利要求1所述的基于手部识别的弦乐器音符比对系统，其特征在于，所述手部关键点识别装置包括采集模块、提取模块、识别模块、记录模块和MIDI数据处理模块，所述采集模块与提取模块通信连接，所述提取模块与识别模块通信连接，所述识别模块与记录模块通信连接，所述记录模块与MIDI数据处理模块通信连接。


3.根据权利要求1所述的基于手部识别的弦乐器音符比对系统，其特征在于，所述智能终端内存储有师傅MIDI音频数字信号，来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。


4.根据权利要求3所述的基于手部识别的弦乐器音符比对系统，其特征在于，所述师傅MIDI音频数字信号在智能终端或者显示屏上进行可视化显示，显示方式包括五线谱、六线谱或简谱。


5.根据权利要求1所述的基于手部识别的弦乐器音符比对系统，其特征在于，所述智能终端为智能平板、智能手机、智能电视或智能投影仪。


6.根据权利要求1所述的基于手部识别的弦乐器音符比对系统，其特征在于，使用模式分为练习模式和演奏模式两种：
当使用练习模式时，实时同步播放师傅MIDI音频数字信号中的音符，将接收到用户的MIDI音频数字信号与之对比，如果MIDI音频数字信号的音符与师傅MIDI音频数字...

【专利技术属性】
技术研发人员：朱欣岳，邵曦，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32