System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多媒体设备显示方法及系统技术方案_技高网

一种多媒体设备显示方法及系统技术方案

技术编号:42091794 阅读:7 留言:0更新日期:2024-07-19 17:05
本发明专利技术属于多媒体控制技术领域,公开了一种多媒体设备显示方法及系统,包括:获取对多媒体设备的操作指令,并与预设行为库进行匹配,若匹配成功,调用与音频文件关联的预设响应信息;若匹配失败,重复获取对多媒体设备的操作指令或告警提示;基于所述预设响应信息加载所述音频文件,若所述音频文件已加载,则调用所述预设响应信息中预加载的特效,并显示;若所述音频文件未加载,则显示待机画面。本发明专利技术通过对音频文件进行接收和识别,完成声音和现实画面的关联,可以实现声音和画面的同步变化,使其在视觉表现上具有一致性与节奏性,提高了用户的视听体验。

【技术实现步骤摘要】

本专利技术涉及多媒体控制,具体而言,涉及一种多媒体设备显示方法及系统


技术介绍

1、用户选择传统音箱一般是为了进行音频播放,或者选择智能音箱以实现一定的互动,来方便地进行音频控制。随着智能设备的发展,仅通过声音传达信息已不足以满足大众的娱乐需求,用户也期望得到更加个性化的服务,越来越重视产品的视觉效果。目前虽然有一些音箱可以显示歌词或者具有跟随节奏变化的视觉屏幕,但其往往显示效果比较单一,无法体现声音和画面的关联性,不足以给用户提供沉浸式音乐体验。


技术实现思路

1、有鉴于此,本专利技术提供一种多媒体设备显示方法及系统,以解决上述问题。

2、为解决以上技术问题,本专利技术提供了一种多媒体设备显示方法,包括:

3、获取对多媒体设备的操作指令,并与预设行为库进行匹配,若匹配成功,调用与音频文件关联的预设响应信息;若匹配失败,重复获取对多媒体设备的操作指令或告警提示;

4、基于预设响应信息加载音频文件,若音频文件已加载,则调用预设响应信息中预加载的特效,并显示;若音频文件未加载,则显示待机画面。

5、作为一种可选方式,预设行为库包括:若干个预设操作指令,预设操作指令独立地加载有预设操作类别与预设操作对象;

6、对多媒体设备的操作指令加载有目标操作类别与目标操作对象。

7、作为一种可选方式,匹配包括:

8、接收对音频文件的目标操作指令,并获取目标操作类别与目标操作对象:

9、当目标操作类别与预设操作类别匹配成功,进行操作对象匹配,若目标操作对象与预设操作对象匹配成功,调用与音频文件关联的预设响应信息;若目标对象与预设操作对象匹配失败,请求重新获取对音频文件的操作指令或告警显示。

10、作为一种可选方式,匹配包括:

11、若目标操作类别与预设操作类别匹配失败,请求重新获取对音频文件的操作指令或告警显示。

12、作为一种可选方式,预设响应信息的生成方法包括:

13、从元数据位置分别提取音频文件的歌词数据和曲调数据;歌词数据包括字符、字符数、字符时间特征,曲调数据包括:曲调频谱、曲调类型;

14、将歌词数据、曲调数据与相匹配的歌词特效文件绑定,形成第一特效;

15、将曲调数据按照曲调类型与背景特效绑定,形成第二特效;

16、将第一特效和第二特效绑定,生成预设响应信息。

17、作为一种可选方式,形成第一特效,包括:

18、获取该音频文件的单个字符持续时间;对单个字符持续时间进行区间划片,根据划片结果,进行特效匹配,将匹配的歌词特效与歌词数据绑定,得到第一特效。

19、作为一种可选方式,特效匹配包括:

20、基于单个字符持续时间的区间划片结果与基于曲调频谱的节奏识别,对任一音频文件进行锚定,使任一音频文件在其对应的曲调位置和/或字符位置上具有多个锚定标签,并基于锚定标签的位置关系进行特效匹配。

21、作为一种可选方式,基于锚定标签的位置关系进行特效匹配,包括:

22、根据多个锚定标签的密度以及单个字符持续时间的区间划片结果,分别对相邻两个锚定标签之间的音频文件持续时间进行特效匹配;使得任一音频文件在其播放持续时间轴上匹配有多个特效。

23、作为一种可选方式,调用预设响应信息中预加载的特效,包括:

24、将预设相应信息中的特效加入特效序列,将音频文件加入音频序列;

25、验证特效序列与音频序列的对应关系,若存在错位,则重新生成预设响应信息;若不存在错位,则根据特效序列与音频序列的对应关系,同时调用同一序列的预设相应信息与音频文件,加入播放队列。

26、作为一种可选方式,显示包括:

27、根据一个或多个预设响应信息,完成对音频文件的加载后,将一个或多个预设响应信息保存至播放队列,并检查是否使用快速特效,以及根据播放队列中任一音频文件,及其下一个音频文件的特效关系,检查队列长度,确定衔接特效;

28、基于播放队列的顺序,在将准备进行变化的目标歌词绑定到对应的特效上进行显示,并播放音频文件。

29、作为一种可选方式,检查是否使用快速特效,包括:

30、调取该音频文件中单个字符持续时间的值,并检查其是否超过预设阈值;

31、若存在,则对其在预设显示时间内,字符数超过预设阈值的播放持续时间的端点位置进行二次锚定,并重新匹配快速特效。

32、作为一种可选方式,二次锚定,包括:

33、根据预设显示时间,建立字符与时间的密度关系;

34、按照时间轴方向遍历歌词数据,在密度关系的值最大的区间的两个端点进行锚点标定。

35、作为一种可选方式,在播放队列中,对于非首位顺序的预设响应信息,采用异步线程进行处理;且在播放过程中进行音频文件切换时,对于未完全播放结束的音频文件,在接收到操作指令后,插入衔接特效进行转换;衔接特效的开始点位于上一首的断点,结束点位于下一首的第一个锚定标签。

36、作为一种可选方式,在将准备进行变化的目标歌词叠加到对应的特效上进行显示,并播放音频文件,还包括:

37、接收音频文件的锚定标签;

38、在接收到音频文件的锚定标签后开始加载音频文件并进行信号反馈,记录该次反馈的第一接收时间与第一发送时间;加载完成后,按照时间轴方向读取该音频文件的下一个锚定标签,并再次记录第二接收时间与第二反馈时间;

39、将第二接收时间、第二反馈时间与预设的特效持续时间进行端点匹配,确定下一个特效数据的播放时间。

40、另一方面,本专利技术还提供了一种多媒体设备显示系统,用于执行上述的多媒体设备显示方法,作为一种可选方式,包括:

41、多媒体设备,用于接收用户驱动进行音频文件与视频的画面展示;

42、交互模块,用于建立和用户的操作、信号连接;

43、存储模块,用于存储预设行为库、曲库、特效素材库;

44、匹配模块,用于进行特效匹配与播放匹配;

45、控制模块,用于在进行播放时,控制多媒体设备的显示元件进行工作,实现画面的动态变化。

46、本专利技术的有益效果为:

47、本专利技术通过对音频文件进行接收和识别,完成声音和现实画面的关联,可以实现声音和画面的同步变化,使其在视觉表现上具有一致性与节奏性,提高了用户的视听体验。

本文档来自技高网...

【技术保护点】

1.一种多媒体设备显示方法,其特征在于,包括:

2.根据权利要求1所述的一种多媒体设备显示方法,其特征在于,所述预设行为库包括:若干个预设操作指令,所述预设操作指令独立地加载有预设操作类别与预设操作对象;

3.根据权利要求2所述的一种多媒体设备显示方法,其特征在于,所述匹配包括:

4.根据权利要求2所述的一种多媒体设备显示方法,其特征在于,所述匹配包括:

5.根据权利要求1所述的一种多媒体设备显示方法,其特征在于,所述预设响应信息的生成方法包括:

6.根据权利要求5所述的一种多媒体设备显示方法,其特征在于,所述形成第一特效,包括:

7.根据权利要求6所述的一种多媒体设备显示方法,其特征在于,所述特效匹配包括:

8.根据权利要求7所述的一种多媒体设备显示方法,其特征在于,基于所述锚定标签的位置关系进行特效匹配,包括:

9.根据权利要求1~8任意一项所述的一种多媒体设备显示方法,其特征在于,所述调用预设响应信息中预加载的特效,包括:

10.根据权利要求9所述的一种多媒体设备显示方法,其特征在于,所述显示,包括:

11.根据权利要求10所述的一种多媒体设备显示方法,其特征在于,所述检查是否使用快速特效,包括:

12.根据权利要求11所述的一种多媒体设备显示方法,其特征在于,所述二次锚定,包括:

13.根据权利要求9所述的一种多媒体设备显示方法,其特征在于,在播放队列中,对于非首位顺序的预设响应信息,采用异步线程进行处理;且在播放过程中进行音频文件切换时,对于未完全播放结束的音频文件,在接收到操作指令后,插入衔接特效进行转换;所述衔接特效的开始点位于上一首的断点,结束点位于下一首的第一个锚定标签。

14.根据权利要求9所述的一种多媒体设备显示方法,其特征在于,在将准备进行变化的目标歌词叠加到对应的特效上进行显示,并播放音频文件,还包括:

15.一种多媒体设备显示系统,用于执行如权利要求1-14任意一项所述的多媒体设备显示方法,其特征在于,包括:

...

【技术特征摘要】

1.一种多媒体设备显示方法,其特征在于,包括:

2.根据权利要求1所述的一种多媒体设备显示方法,其特征在于,所述预设行为库包括:若干个预设操作指令,所述预设操作指令独立地加载有预设操作类别与预设操作对象;

3.根据权利要求2所述的一种多媒体设备显示方法,其特征在于,所述匹配包括:

4.根据权利要求2所述的一种多媒体设备显示方法,其特征在于,所述匹配包括:

5.根据权利要求1所述的一种多媒体设备显示方法,其特征在于,所述预设响应信息的生成方法包括:

6.根据权利要求5所述的一种多媒体设备显示方法,其特征在于,所述形成第一特效,包括:

7.根据权利要求6所述的一种多媒体设备显示方法,其特征在于,所述特效匹配包括:

8.根据权利要求7所述的一种多媒体设备显示方法,其特征在于,基于所述锚定标签的位置关系进行特效匹配,包括:

9.根据权利要求1~8任意一项所述的一种多媒体设备显示方法,其特征在于,所述调用预设响应信息中...

【专利技术属性】
技术研发人员:姚超曹心远
申请(专利权)人:无锡未来镜显示科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1