一种手势音乐演奏器制造技术

本发明专利技术公开了一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备、显示器、中央处理器、音频输出设备和手势分类器，图像采集设备与所述中央处理器采用数据总线连接；手势分类器与所述中央处理器连接，手势分类器中预存设有标准手势，中央处理器对所述图像采集设备所采集的图像信息进行预处理，并与手势分类器中的标准手势进行对比，并根据对比信息得到识别结果，本发明专利技术仅使用带有摄像头与音频输出设备的设备即可实现，简单易实施。用户通过不同的手势来控制设备发出不同的声音实现对乐曲的演奏。通过定义特定的手势可以实现虚拟乐器的演奏功能，随时随地可以享受音乐创作带来的乐趣。

A gesture music player

The invention discloses a gesture music device, the power supply, which comprises a shell and is arranged in a shell integrated circuit, memory, display, image acquisition equipment, central processor, audio output device and gesture classifier, image acquisition device and the central processor adopts data bus connection; gesture classifier is connected with the central processor a standard gesture, stored gesture classifier, image preprocessing, information collected by the central processor of the image acquisition device, and compared with the standard gesture gesture classifier, and the recognition result is obtained according to the comparison information, the invention only uses a camera and audio output device of the equipment can be realized, simple and easy to implement. The user uses different gestures to control the equipment and make different sounds to realize the performance of the music. By defining specific gestures, the performance of virtual instruments can be realized, and the enjoyment of music creation can be enjoyed anytime and anywhere.

【技术实现步骤摘要】

本专利技术涉及一种手势音乐演奏器，具体涉及到手势识别与音乐演奏领域，特别是一种根据识别不同的手势来播放不同的音符的系统。
技术介绍
现有的技术中，有可以通过手势来控制音乐和视频的播放和暂停、调节音量大小的应用。也有可以通过可穿戴设备如VR眼镜VR头盔等专用虚拟设备通过手势和外界进行虚拟交互的软件。用户在体验时需要花费额外的财力去购买这些设备。携带不方便，使用较为复杂，需要将外设与相应的计算机进行连接。目前在手势识别领域，特别是移动智能终端的手势识别领域。尚没有一套系统可以仅通过手势的变化来进音乐的演奏和创作。本专利技术针对以上问题，提供一种手势音乐演奏器，旨在开发一种仅使用智能设备的摄像头即可对设备的音乐演奏进行控制的装置，通过用户手势的变化来播放不同音高的音符，实现乐曲的演奏。增加在音乐创作和播放时人与设备之间的直接交互，增添音乐的乐趣。
技术实现思路
为实现上述目的，本专利技术提供如下技术方案：一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备、显示器、中央处理器、音频输出设备和手势分类器，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备与所述中央处理器采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理；所述显示器与所述中央处理器采用数据总线连接，以便显示图像采集设备采集的画面；所述手势分类器与所述中央处理器连接，且所述手势分类器中预存设有标准手势；所述中央处理器对所述图像采集设备所采集的图像信息进行预处理，并与所述手势分类器中的标准手势进行对比，并根据对比信息得到识别结果；所述音频输出设备直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。进一步，作为优选，所述图像采集设备采用MIPI接口与所述数据总线连接通信，所述音频输出设备采用D/A接口与所述数据总线连接，所述显示器通过人机接口与所述数据总线通信。进一步，作为优选，所述图像采集设备采用摄像头，所述音频输出设备采用扬声器。进一步，作为优选，所述中央处理器对所述图像采集设备所采集的图像信息进行预处理的方法为：将传入采集的图像转为灰度图像并进行手势分割和特征提取，得到手势区域的整体轮廓信息。进一步，作为优选，与所述手势分类器中的标准手势进行对比时的对比方法为：分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu，cpu及内存单元对当前演奏的音乐进行记录与保存。进一步，作为优选，该演奏器上设置有摄像头显示用户实时手势的小窗口、为用户提供演奏音乐所必要的参数选择的参数选择按键、播放显示界面、保存按键、暂停按键、返回退出按键。进一步，本专利技术提供了一种手势音乐演奏器的演奏方法，其特征在于：其包括以下步骤：（1）打开手势音乐演奏器的电源并点击进入主界面，选择播放参数：音调、音色和八拍；（2）选择后点击确定后，摄像头开始工作，开始监测画面中的手势，并将画面实时传递到显示屏上，同时手势分类器开始接收手势信息；（3）手势分类器将每一帧手势与预先训练好的手势分类器中的手势进行对比，若匹配则触发监听事件，监听事件做出处理，将音乐文件数据库中相匹配的文件通过扬声器输出，完成此次手势所代表乐符的发声；（4）重复步骤（3），直至遇到停止手势或用户点击暂停按钮；（5）用户点击保存，生成当前演奏音频文件并保存到本地。与现有技术相比，本专利技术的有益效果是：本专利技术仅使用带有摄像头与音频输出设备的设备即可实现，简单易实施。用户通过不同的手势来控制设备发出不同的声音实现对乐曲的演奏。通过定义特定的手势可以实现虚拟乐器的演奏功能，随时随地可以享受音乐创作带来的乐趣。附图说明图1是本专利技术一种手势音乐演奏器的方框构成图；图2是本专利技术一种手势音乐演奏器的硬件连接图；图3是本专利技术一种手势音乐演奏器的演奏流程图；图4是本专利技术一种手势音乐演奏器的平面构成图；其中，1、图像采集设备，2、显示器，3、音频输出设备，4、CPU，5、手势分类器，6、摄像头，7、扬声器为系统输入输出设备，8、触屏，9、MIPI接口，10、D/A接口，11、人机接口，12、RAM，14、ROM,15、小窗口，16、参数选择按键。17、播放显示界面，18、保存按键，19、暂停按键，20、返回退出按键。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-4，本专利技术提供一种技术方案：一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备1、显示器2、中央处理器CPU4、音频输出设备3和手势分类器5，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备1与所述中央处理器4采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理，图像采集设备主要工作过程是：抓取用户手势图像信息，将图像信息数字化后传入处理器；所述显示器2与所述中央处理器4采用数据总线连接，以便显示图像采集设备采集的画面，显示器即触屏，是用户操作的入口。其工作过程是：将用户的操作信息传入处理器，经处理后，返回处理器的处理结果。当图像采集设备开启时实时显示图像采集设备的画面，便于用户做出调整；所述手势分类器5与所述中央处理器4连接，且所述手势分类器5中预存设有标准手势；所述中央处理器4对所述图像采集设备1所采集的图像信息进行预处理，并与所述手势分类器5中的标准手势进行对比，并根据对比信息得到识别结果；所述音频输出设备3直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。其中，cpu和手势分类器为本专利技术中最重要的两个设备，cpu对图像采集设备传入的数据进行预处理，将传入图像转为灰度图像并进行手势分割和特征提取得到手势区域的整体轮廓信息。分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu。cpu及内存单元还可以对当前演奏的音乐进行记录与保存。扬声器为音频输出设备，直接与处理器相连。当cpu得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放在本实施例中，所述图像采集设备1采用MIPI接口9与所述数据总线连接通信，所述音频输出设备采用D/A接口10与所述数据总线连接，所述显示器通过人机接口11与所述数据总线通信。其中，所述图像采集设备采用摄像头，所述音频输出设备采用扬声器。所述中央处理器对所述图像采集设备所采集的图像信息进行预处理的方法为：将传入采集的图像转为灰度图像并进行手势分割和特征提取，得到手势区域的整体轮廓信息。另外，与所述手势分类器中的标准手势进行对比时的对比方法为：分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu，cpu及内存单元对当前演奏的音乐进行记录与保存。为了便于操作，该演奏器上设置有摄像头显本文档来自技高网...

【技术保护点】
一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备、显示器、中央处理器、音频输出设备和手势分类器，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备与所述中央处理器采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理；所述显示器与所述中央处理器采用数据总线连接，以便显示图像采集设备采集的画面；所述手势分类器与所述中央处理器连接，且所述手势分类器中预存设有标准手势；所述中央处理器对所述图像采集设备所采集的图像信息进行预处理，并与所述手势分类器中的标准手势进行对比，并根据对比信息得到识别结果；所述音频输出设备直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。

【技术特征摘要】
1.一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备、显示器、中央处理器、音频输出设备和手势分类器，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备与所述中央处理器采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理；所述显示器与所述中央处理器采用数据总线连接，以便显示图像采集设备采集的画面；所述手势分类器与所述中央处理器连接，且所述手势分类器中预存设有标准手势；所述中央处理器对所述图像采集设备所采集的图像信息进行预处理，并与所述手势分类器中的标准手势进行对比，并根据对比信息得到识别结果；所述音频输出设备直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。2.根据权利要求1所述的一种手势音乐演奏器，其特征在于：所述图像采集设备采用MIPI接口与所述数据总线连接通信，所述音频输出设备采用D/A接口与所述数据总线连接，所述显示器通过人机接口与所述数据总线通信。3.根据权利要求1所述的一种手势音乐演奏器，其特征在于：所述图像采集设备采用摄像头，所述音频输出设备采用扬声器。4.根据权利要求1所述的一种手势音乐演奏器，其特征在于：所述中央处理器对所述图像采集设备所采集的图像信息进行预处理的方法为：将...

【专利技术属性】
技术研发人员：熊绍潘，袁帅，付天纯，彭德巍，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42