一种基于深度学习的照片音乐视频编排系统技术方案

本发明专利技术公开一种基于深度学习的照片音乐视频编排系统，包括以下步骤：S1、输入照片组,输入视频组,其数量均为任意,另外需要音乐；S2、基于音乐节奏等信息将音乐基于节奏等信息,切分为不同长度段落；S3、针对视频组中每个视频以人工或自动化方式提取其关键帧；S4、使用卷积神经网络或其他深度/非深度机器学习算法,提取照片组P的深度特征,同时计算视频组中视频的关键帧；S5、选定任意照片作为起始照片,使用循环神经网络或其他深度/非深度机器学习算法,计算出照片,视频在音乐段落中的排列。本发明专利技术自动对音乐进行切点、分析照片和视频的关键内容、将上述照片视频基于音乐切点进行融合，以达到快速智能地制作音乐照片视频的目的。

A video arrangement system of photo music based on deep learning

【技术实现步骤摘要】
一种基于深度学习的照片音乐视频编排系统
本专利技术涉及信息处理
，尤其涉及一种基于深度学习的照片音乐视频编排系统。
技术介绍
在机器学习应用日趋成熟的时代，视频制作依然是一个相对比较复杂的流程，对相关人员要求一定的编排和相关资源收集和整理的能力，尤其是试图将照片融入视频中，其对照片的重新构图，动画，特效等，将会大大升高制作的复杂度，现有的视频/照片视频的制作软件通常仅能用视频本身进行加工，或将照片以幻灯片方式播放，前者受限于视频素材较少，后者受限于表现力。
技术实现思路
本专利技术旨在提供一种基于深度学习的照片音乐视频编排系统，能够快速智能地制作音乐照片视频。为达到上述目的，本专利技术是采用以下技术方案实现的：本专利技术公开一种基于深度学习的照片音乐视频编排系统，S1、数据准备，包括：照片组P＝{p0，p1...pn}，视频组S＝{s0，s1...sm}，音乐；S2、将音乐切分为音乐段落Q＝{q0，q1...qk}；S3、使用深度神经网络对照片组进行提取P′＝cnn_deep_feature(P)；S4、使用深度神经网络对视频组进行提取S′＝cnn_deep_feature(S)；S5、随机选择一张照片置于任意音乐段落，作为起始照片S6、将音乐段落的素材分配集合设为设的在的段落位置为S7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0....k}且计算应该放入剩余位置的最佳照片或最佳视频；S8、当中所有位置均确定分配的素材后，即为最终结果。优选的，步骤S2中，音乐的切分基于音乐节奏，使用人工或自动化工具。优选的，使用以下函数确认最佳照片，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片。优选的，使用以下函数确认最佳视频，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s为视频集合中任意没有在中出现的视频。优选的，将最佳照片或最佳视频确认为最佳素材，f(p，s)＝max(p，s)。本专利技术的有益效果：采用人工或自动化工具对音乐进行切点，使用深度神经网络分析照片和视频的关键内容，并使用循环神经网络将上述照片视频基于音乐切点进行融合，以达到快速智能地制作音乐照片视频的目的。附图说明图1为本专利技术的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。如图1所示，本专利技术包括以下步骤：S1、数据准备，包括：照片组P＝{p0，p1...pn}，视频组S＝{s0，s1...sm}，音乐；S2、将音乐切分为音乐段落Q＝{q0，q1...qk}，音乐的切分基于音乐节奏，使用人工或自动化工具进行切分；S3、使用深度神经网络对照片组进行提取P′＝cnn_deep_feature(P)；S4、使用深度神经网络对视频组进行提取S′＝cnn_deep_feature(S)；S5、随机选择一张照片置于任意音乐段落，作为起始照片S6、将音乐段落的素材分配集合设为设的在的段落位置为S7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0....k}且计算应该放入剩余位置的最佳照片或最佳视频，S7.1、使用以下函数确认最佳照片，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，S7.2、使用以下函数确认最佳视频，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s为视频集合中任意没有在中出现的视频，S7.3将最佳照片或最佳视频确认为最佳素材，f(p，s)＝max(p，s)；S8、当中所有位置均确定分配的素材后，即为最终结果。实际使用的过程中，假设我们有照片3张，分别为P1，P2，P3，假设我们有视频7个，分别为S1，S2，S3，S4，S5，S6，S7，假设我们有音乐，其切分后段落为Q1，Q2，Q3，Q4，Q5，这意味着我们需要在5个段落中分别填入照片或视频，通过步骤S1～S4，我们所设数据均为特征，可以被机器学习模型直接是做输入，其中cnn_deep_feature可以是任意现有卷积/非卷积图像神经网络包括但不限于开源和闭源的各种现有模型，其特征可以是卷积层后任意一层输出(具体层需要进行人工选择)rnn模型是一个序列模型可以是现有任意序列模型包括但不限于RNN、LSTM、GRU等，通过对序列中的上文和下文，可以计算出最匹配的未知项，通过步骤S5，随机选择一张图片后，段落状态可能如下:Q1Q2Q3Q4Q5未分配未分配Q2未分配未分配其中Q2为随机分配的初始照片S7的计算流程中，我们需要逐一对Q1，Q2，Q4，Q5进行计算最佳段落素材.直到所有的Q都被填充为止。当然，本专利技术还可有其它多种实施例，在不背离本专利技术精神及其实质的情况下，熟悉本领域的技术人员可根据本专利技术作出各种相应的改变和变形，但这些相应的改变和变形都应属于本专利技术所附的权利要求的保护范围。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的照片音乐视频编排系统，其特征在于，包括以下步骤：/nS1、数据准备，包括：/n照片组P＝{p

【技术特征摘要】
1.一种基于深度学习的照片音乐视频编排系统，其特征在于，包括以下步骤：
S1、数据准备，包括：
照片组P＝{p0，p1...pn}，视频组S＝{s0，s1…sm}，音乐；
S2、将音乐切分为音乐段落Q＝{q0，q1...qk}；
S3、使用深度神经网络对照片组进行提取P′＝cnn_deep_feature(P)；
S4、使用深度神经网络对视频组进行提取S′＝cnn_deep_feature(S)；
S5、随机选择一张照片置于任意音乐段落，作为起始照片
S6、将音乐段落的素材分配集合设为设的在的段落位置为
S7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0....k}且计算应该放入剩余位置的最佳照片或最佳视频；
S8、当中所有位置均确定分配的素材后，即为最终结果。


2.根据权利要求1...

【专利技术属性】
技术研发人员：龚俊衡，徐莹，
申请(专利权)人：成都品果科技有限公司，
类型：发明
国别省市：四川;51