本发明专利技术属于人工智能领域，公开了一种人工智能辅助音乐剪辑的方法，包括以下步骤：基于乐曲的基本结构信息，构建乐曲数据库，包括：乐曲层次结构，含歌词的乐句、乐段，构建相应歌词文本‑时间戳数据对、一个或多个前间奏片段起止时间戳；确定被选音乐片段的选择范围，终端根据被选音乐片段识别出歌词逐字文本‑时间戳数据和/或前间奏音乐数据；并以对应的存储乐句和/或乐段作为被选片段，储存的前间奏片段作为被选前间奏片段；输出目标音乐。还公开了相应的系统和设备及存储介质。本发明专利技术通过人工智能辅助音乐剪辑的过程中应用了乐曲的基本结构信息，从而使剪辑出的音乐片段更符合用户（尤其是非音乐专业的用户）所希望表达的潜在音乐形象情绪。
【技术实现步骤摘要】
本申请涉及人工智能领域，特别涉及一种人工智能辅助音乐剪辑的方法、装置、设备及存储介质。
技术介绍
1、短视频程序是以用户原创拍摄的短视频，作为网络传播内容的分享平台。在短视频程序中，用户存在对音乐片段进行选取的需求。
2、在短视频程序上提供有音乐剪辑界面，该音乐剪辑界面上有音乐显示控件，通常包含音乐进度条、音乐声谱图、音乐歌词图中的一种或多种，该音乐剪辑界面上有片段选取控件(比如竖线或圆头针状指示器)，通过在选取控件在音乐播放进度条、音乐声谱图、音乐歌词图所指向的位置，短视频程序根据片段选取控件所指向的位置，结合短视频程序的音乐片段选取规则，例如预置推荐音乐片段，来确定被选音乐片段。由于（a）用户通常是根据歌词段落来选择期望的音乐片段，通过播放进度条、音乐声谱图等方式进行选择不符合用户习惯，增加了用户的使用成本，（b）播放进度条、音乐声谱图的长度有限，用户的手指滑动操作的精度较低，很难准确地定位到一段音乐中的某一秒或一毫秒，用户很难准确地选择到期望选择的音乐片段，（c）预置音乐段落剪辑方案作为候选推荐方案，无法覆盖所有用户期望选择的音乐片段，因此目前的剪辑音乐片段的技术方案的易用性、高效性、灵活性有待提高。
技术实现思路
1、针对现有技术中的问题，本专利技术提供一种人工智能辅助音乐剪辑的方法、装置、设备及存储介质。
2、为了实现上述目的本专利技术采用以下技术方案：
3、第一方面，本专利技术提供一种人工智能辅助音乐剪辑的方法，包括以下步骤：
4、基于乐曲的基本结构信息，构建乐曲数据库，所述乐曲数据库包括：乐曲层次结构，即乐句、乐段、前间奏片段之间的排列组合层次，含歌词的乐句、乐段及相应的歌词逐字文本-时间戳数据对、一个或多个前间奏片段起止时间戳；
5、确定被选音乐片段的选择范围，终端根据被选音乐片段识别出其对应的数据库内的存储乐句和/或乐段的歌词逐字文本-时间戳数据和/或前间奏音乐数据；并以对应的存储乐句和/或乐段作为被选片段，储存的前间奏片段作为被选前间奏片段；
6、输出目标音乐，目标音乐包含被选的一个或多个乐句，
7、或，一个乐段和/或一个或多个前间奏片段，
8、或，多个乐段和/或一个或多个前间奏片段。
9、在所述人工智能辅助音乐剪辑的方法中，进一步地，一个乐段包含多个乐句。
10、在所述人工智能辅助音乐剪辑的方法中，进一步地，所述歌词逐字文本-时间戳数据包括数据库内存取的音乐片段的歌词文本的起终点和对应的时间戳数据对。
11、在所述人工智能辅助音乐剪辑的方法中，进一步地，所述前间奏片数据包括前间奏音乐片段的起止时间戳。
12、在所述人工智能辅助音乐剪辑的方法中，进一步地，确定被选音乐片段的方法为：通过定位点击或双击操作的位置，将其覆盖的一个或多个乐句或前间奏片段识别为选定的音乐片段；或者，通过检测滑动操作的范围，将其覆盖的一个或多个乐句或或前间奏片段识别为选定的音乐片段；或者，通过解析语音指令，将其中指定的音乐片段识别为选定的音乐片段之一。
13、在所述人工智能辅助音乐剪辑的方法中，进一步地，当用户首次选择的被选片段为多个乐句，且被选片段的起点与乐段的起点相同或被选片段终点与乐段终点相同时，则提示是否选择对应乐段作为被选片段，若用户选择否，则将对应多个乐句作为被选片段；若用户选择是，则将覆盖上述多个乐句的乐段重设作为被选片段；当重设后的被选片段为乐段，且该被选片段起点与一个或多个前间奏片段终点相同或该被选片段终点与一个或多个前间奏片段起点相同时，提示是否选择前间奏选取控件，若用户选择否，则将对应乐段作为输出的目标音乐；若用户选择是，则将乐段和前间奏片段重设作为输出的目标音乐。
14、以用户期望选取某首歌的某一片段为例。例如用户期望选取某个片段，该首歌曲由（a）前奏、（b）主歌段落1、（c）主歌段落2、（d）副歌段落1、（e）副歌段落2、（f）间奏、（g）副歌段落1、（h）主歌段落2，（i）副歌段落1、（j）副歌段落2、（k）尾声顺序连接而成。
15、a当用户期望选取的片段为（h）中的两个乐句，
16、即“
17、o p ......q
18、r...... s t”，
19、即2分53秒568毫秒的“o”至3分01秒122毫秒的“t”。用户滑动音乐歌词图至该片段中的“o p ......q”中的任一个文本和“r...... s t”中的任一个文本，触发终端在播放进度条或音乐声谱图上自动选中2分53秒568毫秒至的至3分01秒122毫秒的“o p...... q.，r...... s t”的音乐片段。
20、b当用户期望选取的片段为（g）（h）的多个乐句，
21、即“a b c d.....e f g，......，r ......s t”，
22、即1分22秒362毫秒的“a”至3分01秒122毫秒的“t”。用户滑动音乐歌词图至该片段中的“a b c d.....e f g”中的任一个文本和“x......y z”中的任一个文本，触发终端在播放进度条或音乐声谱图上自动选中1分22秒362毫秒至的至3分01秒122毫秒的“a b c d...... e f g，......，x......y z”的音乐片段。
23、此时，本例中被选音乐片段的“r...... s t”与乐段（h）的起点相同，在音乐剪辑页面上提示是否选择对应乐段（g）（h）作为被选片段，若用户选择否，则将对应多个乐句作为被选片段；若用户选择是，则将覆盖上述多个乐句的乐段重设作为被选片段。
24、此时，如果用户选择是，将（g）（h）乐段作为被选片段，本例中（g）左侧存在间奏片段（f），在音乐剪辑界面上显示前间奏选取控件，用户点击前间奏选取控件，触发终端在播放进度条或音乐声谱图上自动选中1分03秒129毫秒至3分01秒122毫秒的包含该乐段和间奏的音乐片段作为输出的目标音乐，即（f）（g）（h）。
25、第二方面，本专利技术提供上述人工智能辅助音乐剪辑的方法在视频编辑中的应用。
26、进一步地，所述人工智能辅助音乐剪辑的方法在视频编辑中的应用，包括以下步骤：
27、步骤1，获取短视频的视频长度；
28、步骤2，根据短视频的视频长度、目标音乐时长、存储乐段时间戳和前间奏时间戳确定剪辑音乐片段时间戳以及剪辑音乐片段与短视频的对齐时间戳。
29、进一步地，确定剪辑音乐片段时间戳的方法包括：
30、短视频的视频长度减去目标音乐片段的时长，得到相减后的时长。
31、当相减后的时长小于等于0，将剪辑音乐片段的起点设为目标音乐片段的起点，将剪辑音乐片段的终点重设为目标音乐片段的起点与短视频的视频长度相加后的时间戳。
32、当相减后的时长大于0且小于阈值，将剪辑音乐片段的起点设置为目标音乐片段的起点，本文档来自技高网
...
【技术保护点】
1.一种人工智能辅助音乐剪辑的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的人工智能辅助音乐剪辑的方法，其特征在于，所述歌词逐字文本-时间戳数据包括数据库内存取的音乐片段的歌词文本的起终点和对应的时间戳数据对。
3.根据权利要求1或2所述的人工智能辅助音乐剪辑的方法，其特征在于，所述前间奏片数据包括前间奏音乐片段的起止时间戳。
4.根据权利要求1所述的人工智能辅助音乐剪辑的方法，其特征在于，确定被选音乐片段的方法为：通过定位点击或双击操作的位置，将其覆盖的一个或多个乐句识别为选定的音乐片段；或者，通过检测滑动操作的范围，将其覆盖的一个或多个乐句识别为选定的音乐片段；或者，通过解析语音指令，将其中指定的音乐片段识别为选定的音乐片段之一。
5.根据权利要求4所述的人工智能辅助音乐剪辑的方法，其特征在于，当用户首次选择的被选片段为多个乐句，且被选片段的起点与乐段的起点相同或被选片段终点与乐段终点相同时，则提示是否选择对应乐段作为被选片段，若用户选择否，则将对应多个乐句作为被选片段；若用户选择是，则将覆盖上述多个乐句的乐段重设作为被选片段；当重设后的被选片段为乐段，且该被选片段起点与一个或多个前间奏片段终点相同或该被选片段终点与一个或多个前间奏片段起点相同时，提示是否选择前间奏选取控件，若用户选择否，则将对应乐段作为输出的目标音乐；若用户选择是，则将乐段和前间奏片段重设作为输出的目标音乐。
6.根据权利要求4所述的人工智能辅助音乐剪辑的方法，其特征在于，所述被选片段起点与前间奏片段起点相同和/或被选片段终点与前间奏片段终点相同，则输出对应的乐段和前间奏片段作为被选片段，将乐段和前间奏片段重设作为输出的目标音乐。
7.权利要求1-6任一所述的人工智能辅助音乐剪辑的方法在视频编辑中的应用。
8.一种人工智能辅助音乐剪辑的装置，其特征在于，包括：
9.一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-6任一所述的人工智能辅助音乐剪辑方法。
10.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-6任一所述的人工智能辅助音乐剪辑方法。
...
【技术特征摘要】
1.一种人工智能辅助音乐剪辑的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的人工智能辅助音乐剪辑的方法，其特征在于，所述歌词逐字文本-时间戳数据包括数据库内存取的音乐片段的歌词文本的起终点和对应的时间戳数据对。
3.根据权利要求1或2所述的人工智能辅助音乐剪辑的方法，其特征在于，所述前间奏片数据包括前间奏音乐片段的起止时间戳。
4.根据权利要求1所述的人工智能辅助音乐剪辑的方法，其特征在于，确定被选音乐片段的方法为：通过定位点击或双击操作的位置，将其覆盖的一个或多个乐句识别为选定的音乐片段；或者，通过检测滑动操作的范围，将其覆盖的一个或多个乐句识别为选定的音乐片段；或者，通过解析语音指令，将其中指定的音乐片段识别为选定的音乐片段之一。
5.根据权利要求4所述的人工智能辅助音乐剪辑的方法，其特征在于，当用户首次选择的被选片段为多个乐句，且被选片段的起点与乐段的起点相同或被选片段终点与乐段终点相同时，则提示是否选择对应乐段作为被选片段，若用户选择否，则将对应多个乐句作为被选片段；若用户选择是，则将覆盖上述多个乐句的乐段重设作为被选片段；当重设后的被选片段为乐段，且该被选片段起点与一个或多个前间奏片段终点相同或...
【专利技术属性】
技术研发人员：张超，冯磊，赵珂，刘莎，孙昶潇，牛号博，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。