全自主式读谱及演奏音乐的机器人及方法技术

本发明专利技术公开了一种全自主式读谱及演奏音乐的机器人及方法，所述音乐机器人主要包含一影像撷取装置、一解读装置、一合成装置及一音效输出装置。本发明专利技术于使用时，利用影像撷取装置取得至少一内含有音乐信息的影像页面，而由解读装置辨识及解读出影像中的音乐信息。经解读后，合成装置依照所解读的音乐信息以合成的方式模仿一乐器或一演唱者的音效，此音效则由音效输出装置转换成人类所能收听的乐音。含有音乐信息的影像页面是事先以视觉可辨认的形式准备，影像页面可以包含特殊符号以对本发明专利技术的全自主式机器人下达像是指定模仿的乐器的指令。本发明专利技术结合光学辨识和声音合成技术，能够展现高弹性及动态的音乐演奏。

【技术实现步骤摘要】

本专利技术是关于一种，尤其是关 于一种能辨识内含音乐信息的影像，并将该音乐信息转换成音乐声效播出的 全自主式读谱及演奏音乐机器人和其方法。
技术介绍
现今科技巳可以制造出对外界视觉及/或听觉刺激可独立反应的机器构 造。此机器构造可独立运作，无需由人为操作。如今学术上及市场上的机器构造有许多已具有此等技术，例如Sony (索尼)公司所推出的AIBO人造 机器犬，此人造机器犬装设有一摄影镜头以接收图卡上的影像，该图卡上有 编码的指令以触发人造机器犬变更其设定状态，或者命令人造机器犬执行特 定动作(例如跳舞及唱歌等)。另外，Toyota (丰田)公司所推出的DJ机器人及音乐播放机器人，其 中，DJ机器人为具有滑轮的全自主式机器人，其可与人类互动及模仿指挥乐 团的表演；而具有滑轮或脚部的音乐播放机器人则可以实际弹奏小号、大号、 长号、及鼓等乐器；所述的音乐播放机器人并非一完全全自主式机器人，而 是由程序设计来展现其灵敏的手臂、手掌及手指。又，美园乔治亚理工学院(Georgia Institute of Technology)所推出的机器 人Haile是一机械鼓手，能聆听现场演奏、实时分析现场演奏音乐、然后利 用分析结果以即兴打鼓方式反应给外界。此机器人具有一即兴演奏的算法， 使该机器人可与任意现场演奏者进行配合。该机器人可以直接模仿现场演奏 者的演奏，或以伴奏的方式呈现等；而使用者亦可于此机器人中植入一标准 MIDI档来使机器人依此MIDI档案来演奏。虽然前述的各种机器人还相当粗糙，但仍具有一定的教育及娱乐的功 效。然而，^些机器人皆仅限于弹奏单一种类的乐器，而通常乐器又必须订 制成符合机器人弹奏的形式。另外，各机器人所能表达的旋律多是事先在机器里人制订好程序，或是像Haile机器人一样，是事先向现场演奏者学习来 的。换言之，这些机器人无法随时变更它们的演奏，而且变更前都需相当的 准备工作。这些都限制了演奏音乐机器人的应用。
技术实现思路
v有鉴于上述现有技术机器人的问题，本专利技术的目的是提供一种崭新的全 自主式读谱及演奏音乐的机器人及方法，结合光学辨识和声音合成技术，以 展现高弹性及动态的音乐演奏。本专利技术提供了一种的全自主式读谱及演奏音乐的机器人，包含 一影像撷取装置，该影像撷取装置撷取一视觉触发的一影像页面，该影 像页面包含至少一符号串；一解读装置，该解读装置辨识所述页面影像的符号串，并由该符号串中 取出与时间有关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；一合成装置，该合成装置模仿一音源以产生一输出讯号以表达该音乐信 息；以及一音效输出装置，该音效输出装置至少包含一扬声器以将该输出讯号转 换为人类能收听的声音。本专利技术还提供了一种全自主式读谱及演奏音乐的方法，主要包含以下步骤取得一影像页面，该影像页面至少包含有一符号串；辨识该符号串，并由该符号串中取出与时间相关的一音乐信息，该音乐 信息包含至少一序列的音调、以及每一音调的延续时间；模仿一音源以产生一输出讯号以表达该音乐信息；以及 转换该输出讯号成为人类能收听的声音。本专利技术所提供的全自主式读谱及演奏音乐机器人的各装置可装设于一 人形或其它适当的壳体中。所述的影像撷取装置，例如CCD摄影镜头，撷 取内含音乐信息的影像页面，而通过解读装置可辨识及解读所撷取的影像中 的音乐信息，再由合成装置依据辨识出的音乐信息，利用合成技术模仿至少 一种乐器或演唱者的音效，音效输出装置(例如扬声器)再将合成装置的输出转换成人类能收听的乐音。所述的音效输出装置通常是全自主式机器人一体 的一部份，或者其可与全自主式机器人其它装置分离适当距离，其间则以适 当的讯号缆线连结。本专利技术全自主式读谱及演奏音乐机器人以一种触发-响应模式运作。该内 含音乐信息的影像是以视觉可辨认的形式(例如五线谱上的音符、或是简谱 等)事先准备好的(例如印刷或书写在白板、或是纸张上)。影像里也可以 包含特殊的符号以向全自主式机器人下达命令(例如指定特定的乐器)。这 些影像然后呈现给全自主式机器人的影像撷取装置，以触发其依照影像内含 的音乐信息进行演奏。 一系列的影像可以由使用者依序呈现给全自主式机器 人，或者全自主式机器人可以包含一种翻阅的机制自动检视这一系列影 像，全自主式机器人因此可以进行连续的音乐演奏。本专利技术的有益效果在于，多个全自主式读谱及演奏音乐机器人可集合成 一个乐队、 一合唱团、 一唱诗班、或者甚至是一管弦乐团等，通过分别给予 这些全自主式机器人不同的序列的影像，这些机器人可以各自扮演一特定的 角色，例如这些机器人可分别扮演男高音、女高音、男中音等，或者某些机 器人可以演奏小提琴、钢琴，而其它一些机器人则演奏喇叭及打鼓等，因此 表演形式丰育多样，达到极致娱乐效果，从而可以改善现有技术的机器人仅 能弹奏单一种类的乐器，且无法随时变更演奏，变更前必须做大量的准备工 作的缺点。附图说明图la所示为依据本专利技术的一实施例所述的全自主式读谱及演奏音乐机 器人的内部功能原理框图；图lb质示为本专利技术所述的全自主式读谱及演奏音乐机器人与一呈现影 像的显示装置的关系示意图；图lc所示为依据本专利技术另一实施例所述的全自主式读谱及演奏音乐机 器人的内部功能原理框图；图2a所示为一页影像的范例之一，该影像所包含的和时间相关的音乐 信息是以简谱表示的著名美国童谣row， row, row your boat中的一段；图2b所示为图2a页面的音符串的示意图；图2C所示为音符串跨越多页面的示意图；图2d所示为具有特殊符号的多串音符跨越多页面的示意图；图2e所示为具有特殊符号的多串音符表现于同一页面的示意图；图2f所示为具有歌词的多串音符表现于同一页面的示意图； 图2g所示为具有两种特殊符号以指示衔接与乐器的多串音符表现于同 一页面的示意图。其中，附图标记说明如下 10屏幕20壳体22影像撷取装置24解读装置23翻页装置26合成装置28音效输出装置具体实施方式本专利技术的全自主式读谱及演奏音乐机器人基本上为一运算装置。该运算 装置可以以一系列内含音乐信息的影像的形式，接受视觉触发，并依据该音 乐信息传送出人类可听到的回应。本专利技术的全自主式读谱及演奏音乐机器人 不限定一定要具有特定形状或身体部位，全自主式机器人是否具有人形、是 否具有手臂及脚部、或者是否可以移动对本专利技术而言是不重要的。请注意到，虽然有些基于先前技术的机器人同样可以演奏乐器(例如机 器人Haile)、或是表现出触发-响应的行为(例如人工机器犬AIBO)，本专利技术 和这些机器人主要的差别在于，除了使用合成技术以制作出各种乐器的乐音 及演唱者的歌声之外，本专利技术的全自主式机器人并不是事先依据某种智能型 算法制订程序、或是事先在机器人内安装音乐信息以演奏一种特定的乐器。 此外，呈现给机器人的触发(例如影像)，并不是一次性的命令，而是包含 和时间有关的信息。然而，以上指出本专利技术与先前技术的差异，并非排除本 专利技术不能与^有技术整合于单一全自主式读谱及演奏音乐机器人中。图la所示为依据本专利技术的全自主式机器人的内部功能方块图。如图所示，本专利技术包括有至少一个以上的影像撷取装置22，此影像撷取装置22组 设于全自主式机器人的一壳体20上。该影像撷取装置22可为一 本文档来自技高网...

【技术保护点】
一种全自主式读谱及演奏音乐的机器人，其特征在于，包含：一影像撷取装置，该影像撷取装置撷取一视觉触发的一影像页面，该影像页面包含至少一符号串；一解读装置，该解读装置辨识所述页面影像的符号串，并由该符号串中取出与时间有关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；一合成装置，该合成装置模仿一音源以产生一输出讯号以表达该音乐信息；以及一音效输出装置，该音效输出装置至少包含一扬声器以将该输出讯号转换为人类能收听的声音。

【技术特征摘要】
US 2007-1-5 11/649,8021.一种全自主式读谱及演奏音乐的机器人，其特征在于，包含一影像撷取装置，该影像撷取装置撷取一视觉触发的一影像页面，该影像页面包含至少一符号串；一解读装置，该解读装置辨识所述页面影像的符号串，并由该符号串中取出与时间有关的一音乐信息，该音乐信息包含至少一序列的音调、以及每一音调的延续时间；一合成装置，该合成装置模仿一音源以产生一输出讯号以表达该音乐信息；以及一音效输出装置，该音效输出装置至少包含一扬声器以将该输出讯号转换为人类能收听的声音。2. 如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在 于，所述符号串至少包含多个音符。3. 如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在 于，所述符号串至少包含一特殊符号，该特殊符号指定一特定乐器，以作为 所述音源。4. 如权利要求1所述的全自主式读谱及演奏音乐的机器人，其特征在 于，所述影像页面进一步包含一与该符号串适当对齐的一文字或音标串。5. 如权利要求4所述的全自主式读...

【专利技术属性】
技术研发人员：林其禹，锺国亮，古鸿炎，范钦雄，
申请(专利权)人：林其禹，
类型：发明
国别省市：71[中国|台湾]