一种音视频与钢琴动作同步装置及方法制造方法及图纸

本发明专利技术公开了一种音视频与钢琴动作同步装置及方法，公开的装置包括设置于移动终端的音视频采集模块、数据处理模块、数据存储模块和移动终端数据收发模块，以及设置于钢琴的钢琴动作采集模块和钢琴数据收发模块，其中：钢琴动作采集模块采集钢琴动作及其对应的时间戳，以midi消息的形式发送给钢琴数据收发模块；钢琴数据收发模块与移动终端数据收发模块进行数据交互；移动终端数据收发模块将接收到midi消息发送给数据处理模块；音视频采集模块采集音视频信息，发送给数据处理模块；数据处理模块将midi消息和音视频信息同步生成音乐文件，发送给数据存储模块；数据存储模块存储音乐文件。在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步。

【技术实现步骤摘要】

本专利技术涉及到自动演奏乐器领域，尤其涉及一种音视频与钢琴动作同步装置及方法。
技术介绍
安装有自动演奏系统的钢琴能够实现根据指令自动弹奏钢琴，而不需要人演奏，是通过自动演奏系统来驱动钢琴琴键进行自动演奏。自动演奏系统储存有预先录制好的数字数据，这些数据是用来控制钢琴琴键及踏板弹下和复位的运动，包括弹下的速度和其它的一些信息。为了让这个系统演奏的更加丰富多彩，会播放预先录制好的音视频录音，并且音视频需要和钢琴同步演奏。为了保证在钢琴自动演奏时能够实现音视频与钢琴动作的同步，就需要在采集音视频和钢琴信息生成自动演奏文件时就保证音视频与钢琴动作的同步。因此如何才能在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，提高自动演奏系统的观赏性成为本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种音视频与钢琴动作同步装置，在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，提高自动演奏系统的观赏性。本专利技术提供一种音视频与钢琴动作同步装置，包括设置于移动终端上的音视频采集模块、数据处理模块、数据存储模块和移动终端数据收发模块，以及设置于钢琴上的钢琴动作采集模块和钢琴数据收发模块，其中：所述钢琴动作采集模块，用于采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给钢琴数据收发模块；所述钢琴数据收发模块，用于与移动终端数据收发模块进行数据交互；所述移动终端数据收发模块，用于将接收到midi消息发送给数据处理模块；所述音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给数据处理模块；所述数据处理模块，用于将接收到的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块；所述数据存储模块，用于存储音乐文件。优选地，所述将数据处理模块包括信息同步模块和文件生成模块，其中：所述信息同步模块，用于将midi消息中时间戳和音视频信息每帧数据的时间戳相对应；所述文件生成模块，用于将对应后的midi信息和音视频信息生成音视频信息在前midi消息在后的音乐文件。优选地，所述信息同步模块包括粗调模块，用于确定收到第一个midi消息的时间戳与音视频信息的起始时刻的时间戳的整体偏移量。优选地，所述信息同步模块还包括微调模块，用于确定对后续某个midi信息的时间戳和其对应的音视频信息时间戳的微调偏移量。优选地，所述数据处理模块还包括文件解析模块，用于访问数据存储模块，将音乐文件分解为音视频信息和midi信息。优选地，所述同步装置还包括设置于移动终端上的音视频播放模块和设置于钢琴上的钢琴控制指令执行模块，其中：所述音视频播放模块与数据处理模块连接，用于接收文件解析模块的音视频信息并播放；所述钢琴控制指令执行模块与钢琴数据收发模块相连接，文件解析模块将midi消息通过移动终端数据收发模块发送给钢琴数据收发模块，所述钢琴控制指令执行模块接收钢琴数据收发模块接收到midi消息，并对钢琴进行控制演奏乐曲。优选地，所述粗调模块，还用于确定midi消息的播放起始时间早于音视频信息的播放起始时间。优选地，所述微调模块，还用于当所述钢琴控制指令执行模块控制的钢琴的演奏动作与音视频信息不对应时，确定音视频信息播放暂停等待时间。优选地，所述音视频播放模块以24帧/分的速度播放音视频信息。本专利技术的又一个方面，还提供一种音视频与钢琴动作同步方法，包括以下步骤：步骤1：采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给移动终端；步骤2：移动终端采集钢琴演奏时的音视频信息；步骤3：移动终端将接收到的midi消息和音视频信息进行同步后生成为音乐文件并进行存储。本专利技术提供的音视频与钢琴动作同步装置及方法，在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，从而提高自动演奏系统的观赏性。附图说明图1为本专利技术提供的一种音视频与钢琴动作同步装置的结构示意图；图2为本专利技术提供的一种数据处理模块的结构示意图；图3为本专利技术提供的一种音视频与钢琴动作同步方法的流程图。具体实施方式为了使本
的人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术作进一步的详细说明。参见图1和图2，图1为本专利技术提供的一种音视频与钢琴动作同步装置的结构示意图，图2为本专利技术提供的一种数据处理模块的结构示意图。本专利技术提供一种音视频与钢琴动作同步装置，包括设置于移动终端100上的音视频采集模块130、数据处理模块120、数据存储模块140和移动终端数据收发模块110，以及设置于钢琴200上的钢琴动作采集模块230和钢琴数据收发模块210，其中：所述钢琴动作采集模块230，用于采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给钢琴数据收发模块210；钢琴数据收发模块210，用于与移动终端数据收发模块110进行数据交互；移动终端数据收发模块110，用于将接收到midi消息发送给数据处理模块120；音视频采集模块130，用于采集钢琴演奏时的音视频信息，并发送给数据处理模块120；数据处理模块120，用于将接收到的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块140；数据存储模块140，用于存储音乐文件。在采集音视频和钢琴信息生成自动演奏文件时，演奏者演奏钢琴，钢琴动作采集模块230，将采集钢琴动作以及钢琴动作对应的时间戳，生成带有时间戳的midi消息发送给钢琴数据收发模块210；钢琴数据收发模块210与移动终端数据收发模块110进行数据交互，将带有时间戳的midi消息发送给数据处理模块120；与此同时，移动终端上的音视频采集模块130，采集演奏者演奏钢琴演奏时的声音和画面，生成音视频信息，并发送给数据处理模块120；数据处理模块120，将接收到的带有时间戳的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块140；数据存储模块140，用于存储音乐文件。在采集音视频和钢琴信息生成自动演奏文件时，就保证音视频与钢琴动作的同步，从而为后续自动演奏系统的演奏提供同步性较好的演奏文件，提高自动演奏系统的观赏性。参见图2，以下将对数据处理模块中进行进一步的讲述。数据处理模块120包括信息同步模块121和文件生成模块122，其中：所述信息同步模块121，用于将midi消息中时间戳和音视频信息每帧数据的时间戳相对应；所述文件生成模块122，用于将对应后的midi信息和音视频信息生成音视频信息在前midi消息在后的音乐文件。所述音乐文件包括音视频文件和midi文件，且音视频信息在前midi消息在后。在进一步的方案中，所述信息同步模块121包括粗调模块1211，粗调模块1211首先收到音视频信息确定音视频信息的起始时刻即为文件的0点，而后粗调模块1211收到第一个带有时间戳的midi消息，从而可以确定midi消息的起始时刻时间戳与音视频信息的起始时刻时间戳的整体偏移量。确定了midi消息和音视频消息起始时刻之后，后续的音视频消息的时间戳与midi消息的时间戳即可作相应的对应。在更进一步的方案中，所述信息同步模块121还包括微调模块1212，微调模块1212可以将midi消息和音视频信息的波形展开，对于某本文档来自技高网...

【技术保护点】
一种音视频与钢琴动作同步装置，其特征在于，包括：设置于移动终端上的音视频采集模块、数据处理模块、数据存储模块和移动终端数据收发模块，以及设置于钢琴上的钢琴动作采集模块和钢琴数据收发模块，其中：所述钢琴动作采集模块，用于采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给钢琴数据收发模块；所述钢琴数据收发模块，用于与移动终端数据收发模块进行数据交互；所述移动终端数据收发模块，用于将接收到midi消息发送给数据处理模块；所述音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给数据处理模块；所述数据处理模块，用于将接收到的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块；所述数据存储模块，用于存储音乐文件。

【技术特征摘要】
1.一种音视频与钢琴动作同步装置，其特征在于，包括：设置于移动终端上的音视频采集模块、数据处理模块、数据存储模块和移动终端数据收发模块，以及设置于钢琴上的钢琴动作采集模块和钢琴数据收发模块，其中：所述钢琴动作采集模块，用于采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给钢琴数据收发模块；所述钢琴数据收发模块，用于与移动终端数据收发模块进行数据交互；所述移动终端数据收发模块，用于将接收到midi消息发送给数据处理模块；所述音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给数据处理模块；所述数据处理模块，用于将接收到的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块；所述数据存储模块，用于存储音乐文件。2.根据权利要求1所述的音视频与钢琴动作同步装置，其特征在于，所述将数据处理模块包括信息同步模块和文件生成模块，其中：所述信息同步模块，用于将midi消息中时间戳和音视频信息每帧数据的时间戳相对应；所述文件生成模块，用于将对应后的midi信息和音视频信息生成音视频信息在前midi消息在后的音乐文件。3.根据权利要求2所述的音视频与钢琴动作同步装置，其特征在于，所述信息同步模块包括粗调模块，用于确定收到第一个midi消息的时间戳与音视频信息的起始时刻的时间戳的整体偏移量。4.根据权利要求3所述的音视频与钢琴动作同步装置，其特征在于，所述信息同步模块还包括微调模块，用于确定对后续某个midi信息的时间戳和其对应的音视频信息时间戳的微调偏移量。5.根据权利要求2至...

【专利技术属性】
技术研发人员：郭立，
申请(专利权)人：湖南乐和云服网络科技有限公司，
类型：发明
国别省市：湖南;43