本发明专利技术提供一种6维度感官交互的虚拟键盘乐器系统及其实现方法，包括人体辅助装置、3D摄像装置，3D投影装置，信号处理单元和音乐采集装置。本发明专利技术的系统有多种工作模式，包括弹奏模式、提示最优指法模式，修正指法模式，教学模式。多种工作模式不仅提供使用者基本的弹奏体验，还具备了提示指法，纠正指法，演示教学的功能。本发明专利技术为使用者基于3D视觉、听觉、接触觉和压力觉6维度感知的虚拟键盘乐器系统，提供的虚拟乐器种类包括钢琴、电子琴、手风琴、管风琴等键盘乐器，使用者能体验到在真实乐器上弹奏的交互效果，并且本系统能实现强大的教学功能，使用方法简单、灵活，节省空间，是对于传统的键盘乐器的巨大突破，具有非常广阔的应用前景。
【技术实现步骤摘要】
本专利技术涉及一种键盘乐器，具体涉及。
技术介绍
键盘乐器受到很多音乐爱好者的喜爱，但是现在使用的传统键盘乐器体积庞大，价格昂贵，而且只能实现视觉，听觉和触觉感受，达不到多维度交互的效果，因此，设计专利技术如何利用电子设备产生的虚拟键盘乐器就十分有必要。虽然在手机，平板，PC机上也有一些相关的应用可以实现虚拟键盘乐器，但是大多是很简单的设计，即屏幕上出现乐器器件，直接用手指去触碰，然后发出相应的声音并且显示一些提示信息，这样虽然有一定的交互效果，但是模式过于简单，其使用效果甚至远远不如现实中的乐器。于是开发一种可以实现6维度感官虚拟交互的虚拟键盘乐器系统十分有必要，这种系统具有功能更加强大，更能体现真实的虚拟交互效果，使用更加方便，外形更加精巧，造价更加低廉的特点。
技术实现思路
本专利技术的目的在于针对现有乐器和一些通过电子设备实现的虚拟键盘乐器的不足，提供一种基于6维度感官技术实现人与虚拟键盘乐器进行人机交互的系统和方法。本专利技术不但可以提供给使用者3D视觉感知，而且可以增加更多的听觉和触觉的感观体验，以及主动参与、互动虚拟现实的多重体验。 本专利技术采用如下的技术方案: 一种6维度感官交互的虚拟键盘乐器系统，所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置、信号处理单元和音乐采集装置，其中: 所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元； 所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元； 所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元； 所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置； 人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知，在这里是指当人接触到投影出来的虚拟键盘乐器时，感受到的虚拟键盘乐器的存在。例如，当虚拟乐器是钢琴时，所述的接触觉感知就是触摸真实的钢琴键的感觉； 所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知，在这里是指当人弹奏虚拟键盘乐器时，虚拟键盘乐器给予人的压力反馈。所述的人体辅助装置用于采集人体发出的声音信息、接触觉信息、压力觉信息，并将其转换为信号发送到信号处理单元；还用于接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的听觉感知信息包括虚拟键盘乐器对应的声音和系统提示信息；例如，虚拟键盘乐器为钢琴时，人体辅助装置能发出钢琴的声音；所述的系统提示信息包括当前系统的工作状态和对使用者的评价。例如，使用者弹奏乐器的时候，人 体辅助装置发出声音，说明当前音量大小，工作模式等工作状态；使用者弹完之后，人体辅助装置发出声音，评价使用者弹奏水平的高低。所述的虚拟键盘乐器的声音信息存储在信号处理单元中。所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块包括触觉传感器和声音传感器；所述的信息输出模块包括声音发生器和触觉发生器。所述的触觉传感器是将接触觉信息和压力觉信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为接触感和压力感的装置；声音发生器是将电信号转换为声音的装置。所述的人体辅助装置样式可以是套状物(如手套、脚套、头套等)、垫状物(如触摸垫、腕垫等)、形成封密环或半封密环带状物(如手带、脚带、腰带、腕带等)、可贴于皮肤表面的贴片等。例如，幽灵手套可以采集人体肘部的接触觉信息和压力觉信息，并且可以反馈给人相应的压力。钢琴手套(Piano Hands)具有发声效果，戴着它在任何的平面上敲击，手部则会将这种敲击转换成钢琴的声音播放出来。集成上述两种手套功能的装置满足本专利技术所述的人体辅助装置的功能要求。所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的3D摄像装置是一种可以跟踪某物体，并将该物体的空间信息转换为电信号的装置。例如，场摄像机，Kinect3D 体感摄影机，leap motion。所述的3D投影装置能够接收信号处理单元发送的信号并将其转换为3D视觉感知信息。所述的3D投影装置是一种能够将电信号转换为投影出来的3D视觉信息的一种装置。例如，DLP投影机，3D投影仪。所述的3D视觉感知信息包括能看到实体键盘乐器的投影和系统提示信息。所述的系统提示信息包括操作界面和工作状态的提示。例如，投影出来操作界面上有多个功能按钮，人看到操作界面的功能按钮，将手指按上功能按钮，系统就可以响应操作。所述的音乐采集装置是能够采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元的装置；所述的音乐采集装置包括摄像设备、录音设备、扫描设备，通信设备。例如，摄像设备可以是数码摄像机，数码照相机；录音设备可以是录音笔，麦克风；扫描设备可以是扫描仪，扫描枪；通信设备可以是无线AP，无线网桥，无线网卡，天线。所述的音乐信息包括但不限于纸质乐谱、电子乐谱等能够被视觉识别的信息，实时音乐、人声、现场音乐会、电视节目录音等能够被听觉识别的信息，MID1、MP3、WAV等能被信号处理单元的标准音频格式文件。所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。所述的信号处理单元是能够进行计算、分析、信号处理和信号发送的设备，所述的信号处理单元包括但不限于计算机、服务器、移动智能终端。所述的移动智能终端是能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、Pocket PC、Tablet PC。所述的虚拟键盘乐器是以投影的方式呈现出来的键盘乐器，其特征在于所述的键盘乐器是有固定排列顺序的琴键、并且每个琴键有固定音高的乐器。所述的键盘乐器包括钢琴、管风琴、手风琴或电子琴。本专利技术的系统可提供多种工作模式，包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。所述的弹奏模式是最基本的工作模式，可以实现基本的设置功能和弹奏虚拟乐器，系统启动后，默认工作在该模式下；所述的提示最优指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有提示最优指法的功能，即在弹奏过程中，系统提示弹奏虚拟键盘乐器的最优指法；所述的修正指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有修正指法的功能，即在弹 奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹本文档来自技高网...
【技术保护点】
一种6维度感官交互的虚拟键盘乐器系统，其特征在于：所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置、信号处理单元和音乐采集装置，其中：所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
【技术特征摘要】
【专利技术属性】
技术研发人员：孟濬，高恩博，刘琼，陈啸，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。