在数字和非数字表面上使用手绘图案/文本进行音乐合成的方法和系统技术方案

本公开涉及用于创建和合成音乐的方法和设备。所公开的方法包括：获得包括与至少一个第一乐器相关的至少一个对象的至少一个图像，识别与所述至少一个对象相关联的用户输入，将所述至少一个对象映射到至少一个第二乐器，并且基于用户输入和所述至少一个第二乐器的声音数据生成声音。音数据生成声音。音数据生成声音。

【技术实现步骤摘要】
【国外来华专利技术】在数字和非数字表面上使用手绘图案/文本进行音乐合成的方法和系统


[0001]本公开涉及一种用于创建和合成音乐的方法和系统。

技术介绍

[0002]在当前的技术时代，我们在现实生活中正在与许多音乐装置进行交互，或者基于不同的交互形式(诸如基于手势的交互、基于语音的交互、基于触摸的交互、基于点击的交互、基于视网膜的交互等)使用虚拟/增强现实以及许多有用装置或传感器与许多音乐装置进行交互。音乐的数字化已经从根本上改变了工业的各个方面，从录制音乐的方式到发行和销售唱片集的方式。
[0003]目前使用的包括移动装置、智能电话、平板电脑、计算机、个人计算机、膝上型电脑等的电子装置能够使用各种应用执行各种功能。这些装置的一些有用的应用包括娱乐、休闲和学习。不同风格或类型的音乐可强调、削弱或省略这些元素中的一些元素。音乐是用各种乐器和从歌唱到说唱的声乐技术演奏的。此外，存在单独的乐器乐曲、单独的声乐乐曲(诸如没有乐器伴奏的歌曲)以及组合了歌唱和乐器的乐曲。
[0004]“声音合成”的定义包括对声音的元素进行组合以制造期望的声音。声音合成可使用现有的声音作为元素或电子地或机械地创建新声音。合成世界是复杂的世界，并且它将最早的电子乐器之一泰勒明电子琴(Theremin)在范围和方法方面以指数方式扩展到合成器和采样器。音频合成的主要助推是数字技术在声音中的应用。结果是，合成范围在短时期内增加了许多倍。应用于合成的数字技术已经导致形成全新的学科，诸如用于多媒体(例如，最大信号处理(MAX/MSP)、纯数据、抖动等)的依赖于计算机代码来产生声音的可视化编程语言。数字技术使得将电子设备的音调和数千小时的工作压缩到可在几秒钟内进行相同工作的便携式个人计算机中成为可能。
[0005]乐器可根据通常的用途进行分类(诸如信号乐器)，类别可包括不同霍恩博斯特尔-萨克斯乐器分类法中的乐器，诸如小号、鼓和锣。在整个历史中，已经使用了各种乐器分类方法，如欧洲文化根据管弦乐乐器家族对乐器进行分类。最常用的系统将乐器分为电子琴乐器、弦乐器、木管乐器、铜管乐器和打击乐器，然而，已经设计了其它方案。
[0006]按照这样，存在许多允许用户创建、创作和控制音乐的输入装置。这样的技术状况与手势、传感器、应用和启用触摸屏的输入装置或基于点击的输入装置等的组合一起起作用。现有的技术状况允许用户使用一些启用传感器的手套通过手势创建和控制音乐。用户可通过将任何坚固表面(例如玻璃、木材、任何板、墙壁等)上的指尖和手掌扩展到乐器中来使用启用传感器的手套。现有的技术状况允许用户在不同平台上使用一些基于音乐的应用通过触摸屏事件来创建音乐。用户可通过将启用触摸的输入装置上的指尖或手指扩展来使用启用传感器的手套。
[0007]目前，用户不可能具有多个按需乐器。用户不能够具有允许在数字和非数字平台上绘制和播放使其更具交互性和沉浸性的特征。此外，用户不能定制乐器，例如，绘制乐器
的完整部件/部分部件，以文本/符号形式绘制音符以根据用户的位置、参数和朝向生成合成的声音效果。此外，在乐器中的运行时间修改或任何用户需求的定制是不可用的。用户甚至不可能将背景声音对象添加到合成音乐。因此，需要创建一种克服上述缺点的系统和方法。
[0008]以上信息作为背景信息被呈现仅用于帮助理解本公开。至于以上信息中的任何信息是否可应用为针对本公开的现有技术，尚未做出确定并且尚未进行声明。

技术实现思路

[0009]技术问题
[0010]本公开的各方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面在于提供一种识别图案并将识别图案映射到乐器的系统和方法。
[0011]本公开的另一方面在于提供一种创建和合成音乐的系统和方法。
[0012]本公开的另一方面在于提供一种实时解锁乐器的八度音阶的系统和方法。
[0013]本公开的另一方面在于提供一种将音乐参数与乐器映射的系统和方法。
[0014]本公开的另一方面在于提供一种使用乐器生成透视声音和附加背景音乐的系统和方法。
[0015]本公开的另一方面在于提供一种对乐器进行多路复用的系统和方法。
[0016]本公开的另一方面在于提供一种与文本和符号交互的系统和方法。
[0017]附加的方面将在下面的描述中被部分地阐述，并且部分地，将从描述而清楚，或者可通过本公开的实施例的实践来获知。
[0018]技术方案
[0019]根据本公开的一方面，提供了一种创建和合成音乐的方法。所述方法包括：从现有数据库、表面、相机中的至少一个获取至少一个图像，从获取的所述图像检测乐器、乐器的一部分、用户定义的交互边界和/或背景信息中的至少一个，基于所述检测识别音乐参数或背景声音参数中的至少一个，将所述音乐参数映射到来自获取的所述图像的检测到的乐器、乐器的一部分、用户定义的交互边界和/或背景信息中的至少一个，实时解锁检测到的至少一个乐器的八度音阶，接收所述至少一个乐器的位置、朝向、相对位置、深度和/或尺寸，接收基于获取的所述图像的至少一个交互输入，并且基于接收到的所述交互输入、所述至少一个乐器的相对位置、朝向或尺寸中的至少一个生成透视声音。
[0020]根据本公开的一方面，音乐基于交互输入或背景声音参数中的至少一个被合成。
[0021]根据本公开的另一方面，多个乐器被检测并且还被联结到检测到的所述至少一个乐器。
[0022]根据本公开的另一方面，至少一个乐器的声音是根据另一乐器生成的。
[0023]根据本公开的另一方面，透视声音基于用户与所述乐器的相对位置和/或识别出的对象与所述乐器的相对位置中的至少一个被生成。
[0024]根据本公开的另一方面，虚拟现实(VR)装置能够检测用户与乐器的相对位置。
[0025]根据本公开的另一方面，获取的图像包括手绘图像、打印图像、图像模板或文本中的至少一个。
[0026]根据本公开的另一方面，多个用户基于多个表面被识别并被映射到所述乐器。
[0027]根据本公开的另一方面，音乐由多个用户基于接收到的所述交互输入、所述乐器的相对位置、朝向或尺寸中的至少一个被生成和被合成。
[0028]根据本公开的另一方面，获取的图像由电子装置上的至少一个传感器捕获。
[0029]根据本公开的另一方面，传感器是光学传感器、图像传感器、红外传感器和/或电子输入传感器中的至少一种。
[0030]根据本公开的另一方面，表面是电子表面或非电子表面中的至少一种。
[0031]根据本公开的另一方面，电子表面生成电子格式的图像文件，并且非电子表面生成非电子格式的图像文件。
[0032]根据本公开的另一方面，检测和识别在云服务器、本地服务器或用户电子装置中的至少一个上被执行。
[0033]根据本公开的另一方面，音乐参数包括八度音阶、音符、音符组成和音阶中的至少一个。
[0034]根据本公开的另一方面，所述音乐参数被配置为基于所述用户交互输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于由电子装置生成声音的方法，包括：获得至少一个图像，其中，所述至少一个图像包括与至少一个第一乐器相关的至少一个对象；识别与所述至少一个对象相关联的用户输入；将所述至少一个对象映射到至少一个第二乐器；并且基于所述用户输入和所述至少一个第二乐器的声音数据生成声音。2.如权利要求1所述的方法，其中，所述至少一个第一乐器与所述至少一个第二乐器相同。3.如权利要求1所述的方法，其中，所述至少一个第一乐器不同于所述至少一个第二乐器。4.如权利要求1所述的方法，其中，所述至少一个图像还包括至少一个非乐器对象，并且所述声音还基于所述至少一个非乐器对象的声音数据被生成。5.如权利要求1所述的方法，其中，所述声音基于所述至少一个对象的位置、朝向或尺寸中的至少一个被生成。6.如权利要求1所述的方法，其中，获得的所述至少一个图像包括：手绘图像、打印图像、图像模板、数字表面图案、数字格式图像或至少一个文本中的至少一个。7.如权利要求1所述的方法，还包括：对所述至少一个图像进行预处理；将预处理后的所述至少一个图像发送到服务器；并且从服务器接收关于所述至少一个图像中的所述至...

【专利技术属性】
技术研发人员：阿伦，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：