音响处理方法及音响处理系统技术方案

音响处理系统具有：学习处理部，其利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的训练好的合成模型的追加学习，该特征数据表示根据表示发音条件的条件数据以该发音条件发音出的音响的特征；指示接收部，其接收与音响信号相关的发音条件的变更指示；以及合成处理部，其通过将表示变更后的发音条件的第2条件数据输入至追加学习后的合成模型，从而生成第2特征数据。

【技术实现步骤摘要】
【国外来华专利技术】音响处理方法及音响处理系统
本专利技术涉及对音响信号进行处理的技术。
技术介绍
以往提出了与来自利用者的指示相应地对表示歌唱音或者演奏音等各种音响的音响信号进行编辑的技术。例如在非专利文献1中公开了通过针对每个音符对音响信号的音高及振幅进行解析而显示，从而接收由利用者对音响信号的编辑的技术。非专利文献1：'WhatisMelodyne？'[平成30年10月21日检索]，网址<https://www.celemony.com/en/melodyne/what-is-melodyne>
技术实现思路
但是，基于现有技术，例如存在由于音高等发音条件的变更而音响信号的音质降低这样的问题。将以上的情况作为背景，本专利技术的一个方式的目的在于，对由与音响信号相关的发音条件的变更引起的音质的劣化进行抑制。为了解决以上的课题，本专利技术的一个方式所涉及的音响处理方法，利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的事先训练好的合成模型的追加学习，该特征数据表示根据表示发音条件的条件数据以该发音条件发音出的音响的特征，接收与所述音响信号相关的发音条件的变更指示，通过将表示所述变更后的发音条件的第2条件数据输入至所述追加学习后的合成模型，从而生成第2特征数据。本专利技术的一个方式所涉及的音响处理系统具有：学习处理部，其利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的训练好的合成模型的追加学习，该特征数据表示根据表示发音条件的条件数据以该发音条件发音出的音响的特征；指示接收部，其接收与所述音响信号相关的发音条件的变更指示；以及合成处理部，其通过将表示所述变更后的发音条件的第2条件数据输入至所述追加学习后的合成模型，从而生成第2特征数据。本专利技术的一个方式所涉及的音响处理系统是具有大于或等于1个处理器和大于或等于1个存储器信息处理系统，通过执行在所述大于或等于1个存储器中存储的程序，所述大于或等于1个处理器进行下述动作：利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的事先训练好的合成模型的追加学习，该特征数据表示根据表示发音条件的条件数据以该发音条件发音出的音响的特征；接收与所述音响信号相关的发音条件的变更指示，通过将表示所述变更后的发音条件的第2条件数据输入至所述追加学习后的合成模型，从而生成第2特征数据。附图说明图1是例示第1实施方式所涉及的音响处理系统的结构的框图。图2是例示音响处理系统的功能结构的框图。图3是编辑画面的示意图。图4是事先学习的说明图。图5是例示事先学习的具体顺序的流程图。图6是例示音响处理系统的动作的具体顺序的流程图。图7是例示变形例中的音响处理系统的功能结构的框图。具体实施方式＜第1实施方式＞图1是例示第1实施方式所涉及的音响处理系统100的结构的框图。第1实施方式的音响处理系统100是通过具有控制装置11、存储装置12、显示装置13、输入装置14和放音装置15的计算机系统实现的。例如移动电话、智能手机或者个人计算机等信息终端被利用为音响处理系统100。此外，音响处理系统100除了可以作为单体装置而实现以外，还可以通过相互地分体构成的多个装置的集合而实现。控制装置11由对音响处理系统100的各要素进行控制的单个或者多个处理器构成。例如，控制装置11由CPU(CentralProcessingUnit)、SPU(SoundProcessingUnit)、DSP(DigitalSignalProcessor)、FPGA(FieldProgrammableGateArray)或者ASIC(ApplicationSpecificIntegratedCircuit)等大于或等于1种的处理器构成。存储装置12是由例如磁记录介质或者半导体记录介质等公知的记录介质构成的单个或者多个存储器，对由控制装置11执行的程序和由控制装置11使用的各种数据进行存储。此外，也可以通过多种记录介质的组合而构成存储装置12。另外，也可以将能够相对于音响处理系统100装卸的移动式的记录介质、或者能够经由通信网与音响处理系统100进行通信的外部记录介质(例如在线储存器)利用为存储装置12。第1实施方式的存储装置12对音响信号V1进行存储，该音响信号V1表示与特定的乐曲相关的音响。在下面的说明中，设想表示由特定的歌唱者(以下称为“追加歌唱者”)通过乐曲的歌唱进行发音的歌唱音的音响信号V1。例如，将在音乐CD等记录介质中存储的音响信号V1、或者经由通信网接收到的音响信号V1存储于存储装置12。音响信号V1的文件形式是任意的。第1实施方式的控制装置11生成根据来自利用者的指示对与在存储装置12中存储的音响信号V1相关的各种条件(以下称为“歌唱条件”)进行变更后的音响信号V2。歌唱条件例如包含音高、音量和音位。显示装置13对从控制装置11指示的图像进行显示。例如液晶显示面板被利用为显示装置13。输入装置14对由利用者实施的操作进行接收。例如由利用者进行操作的操作件、或者对针对显示装置13的显示面的接触进行检测的触摸面板被利用为输入装置14。放音装置15例如为扬声器或者耳机，对与由控制装置11生成的音响信号V2相对应的音响进行放音。图2是例示通过由控制装置11执行在存储装置12中存储的程序而实现的功能的框图。第1实施方式的控制装置11实现信号解析部21、显示控制部22、指示接收部23、合成处理部24、信号生成部25和学习处理部26。此外，也可以通过相互分体构成的多个装置而实现控制装置11的功能。可以将控制装置11的功能的一部分或者全部由专用的电子电路实现。信号解析部21对在存储装置12中存储的音响信号V1进行解析。具体地说，信号解析部21根据音响信号V1而生成表示音响信号V1所表示的歌唱音的歌唱条件的条件数据Xb和表示该歌唱音的特征的特征数据Q。第1实施方式的条件数据Xb是分别关于构成乐曲的多个音符将音高、音位(发音文字)和发音期间指定为歌唱条件的时间序列数据。例如生成依照MIDI(MusicalInstrumentDigitalInterface)标准的形式的条件数据Xb。在通过信号解析部21生成条件数据Xb时任意地采用公知的解析技术(例如自动采谱技术)。此外，条件数据Xb并不限定于根据音响信号V1生成的数据。例如，也可以将由追加歌唱者歌唱出的乐谱的数据利用为条件数据Xb。特征数据Q是表示音响信号V1所表示的音响的特征的数据。第1实施方式的特征数据Q包含基本频率(音调)Qa和频谱包络Qb。频谱包络Qb是音响信号V1的频谱的概略形状。特征数据Q是每隔规定长度(例如5毫秒)的单位期间而依次生成的。即，第1实施方式的信号解析部21生成基本频率Qa的时间序列和频谱包络Qb的时间序列。在通过信号解析部本文档来自技高网...

【技术保护点】
1.一种音响处理方法，其是通过计算机实现的音响处理方法，/n利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的事先训练好的合成模型的追加学习，该特征数据表示根据以条件数据表示的发音条件发音出的音响的特征，/n接收与所述音响信号相关的发音条件的变更指示而变更该发音条件，/n通过将表示所述变更后的发音条件的第2条件数据输入至所述追加学习后的合成模型，从而生成第2特征数据。/n

【技术特征摘要】
【国外来华专利技术】20181106 JP 2018-2092891.一种音响处理方法，其是通过计算机实现的音响处理方法，
利用表示根据音响信号而确定的发音条件的第1条件数据和表示该音响信号所表示的音响的特征的第1特征数据，执行生成特征数据的事先训练好的合成模型的追加学习，该特征数据表示根据以条件数据表示的发音条件发音出的音响的特征，
接收与所述音响信号相关的发音条件的变更指示而变更该发音条件，
通过将表示所述变更后的发音条件的第2条件数据输入至所述追加学习后的合成模型，从而生成第2特征数据。


2.根据权利要求1所述的音响处理方法，其中，
所述事先训练好的合成模型是通过机器学习而生成的模型，该机器学习利用了表示与所述音响信号所表示的音响的发音源相同种类的发音源的音响的信号。


3.根据权利要求1或2所述的音响处理方法，其中，
所述第2特征数据是通过将表示所述变更后的发音条件的所述第2条件数据、以及发音源数据，输入至所述追加学习后的合成模型而生成的，该发音源数据表示在示出与音响的特征相关的发音源之间的关系的空间中的发音源的位置。


4.根据权利要求1至3中任一项所述的音响处理方法，其中，
所述发音条件包含音高，
所述发音条件的变更指示是所述音高的变更指示。


5.根据权利要求1至4中任一项所述的音响处理方法，其中，
所述发音条件包含发音期间，
所述发音条件的变更指示是所述发音期间的变更指示。
...

【专利技术属性】
技术研发人员：大道龙之介，
申请(专利权)人：雅马哈株式会社，
类型：发明
国别省市：日本;JP