用于从直播视频流剪辑视频的方法、装置、设备和存储介质制造方法及图纸

本公开公开一种用于从直播视频流剪辑视频的方法、装置、设备和存储介质，涉及人工智能领域。用于从直播视频流剪辑视频的方法包括：从视频流获取第一预定时间长度的多个视频片段；确定多个视频片段是否属于预定分类；以及响应于确定多个视频片段中的一个第一视频片段属于预定分类，从第一视频片段中提取第二预定时间长度的视频子片段，作为视频剪辑片段至少一部分，其中第二预定时间长度小于第一预定时间长度。本公开的方案实现了对于例如直播视频流的类别识别以及基于类别的自动视频剪辑。频流的类别识别以及基于类别的自动视频剪辑。频流的类别识别以及基于类别的自动视频剪辑。

【技术实现步骤摘要】
用于从直播视频流剪辑视频的方法、装置、设备和存储介质


[0001]本公开主要涉及人工智能领域，并且更具体地，涉及用于从直播 视频流剪辑视频的方法、装置、设备和存储介质。

技术介绍

[0002]随着科技的发展，视频，特别是直播视频广泛地用于信息传播、 产品销售和社交活动等。通常，直播视频是网络主播利用互联网及流 媒体技术向网络用户直播，视频直播融合了图像、声音等元素，声形 并茂。用户可以通过互联网在PC、手机等多种客户端观看视频直播。 在直播视频中，网络主播与网络用户互动中可能出现精彩片段，例如 才艺表演。通常期望从直播视频中提取出视频的精彩片段。
[0003]在传统的视频剪辑方法中，主播需要边直播边录制视频，主播直 播完之后人工浏览直播回放录制的视频，寻找精彩才艺片段的起始时 刻，用视频剪辑工具将精彩片段裁剪出来，这样的制作方式不仅制作 耗费时间，而且生成效率低。期望能够改进直播视频的视频剪辑方法。

技术实现思路

[0004]根据本公开的示例实施例，提出了一种用于视频流剪辑视频的方 法、装置、设备和存储介质，其能够改进或消除上述技术问题中的一 个或多个。
[0005]在本公开的第一方面中，提供了一种用于从直播视频流频流剪辑 视频的方法。方法包括：从视频流获取第一预定时间长度的多个视频 片段；确定多个视频片段是否属于预定分类；以及响应于确定多个视 频片段中的一个第一视频片段属于预定分类，从第一视频片段中提取 第二预定时间长度的视频子片段，作为视频剪辑片段至少一部分，其 中第二预定时间长度小于第一预定时间长度。
[0006]在本公开的第二方面中，提供了一种用于从直播视频流剪辑视频 的装置。装置包括：视频片段获取模块，被配置为从视频流获取第一 预定时间长度的多个视频片段；分类模块，被配置为确定多个视频片 段是否属于预定分类；以及提取模块，被配置为：响应于确定多个视 频片段中的一个第一视频片段属于预定分类，从第一视频片段中提取 第二预定时间长度的视频子片段，作为视频剪辑片段至少一部分，其 中第二预定时间长度小于第一预定时间长度。
[0007]在本公开的第三方面中，提供了一种电子设备。电子设备包括： 一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一 个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实 现根据前述第一方面的方法。
[0008]在本公开的第四方面中，提供了一种计算机可读存储介质，其上 存储有计算机程序，该程序被处理器执行时实现根据前述第一方面的 方法。
[0009]在本公开的第五方面中，提供了一种计算机程序产品，包括计算 机程序，该计算机程序在被处理器执行时实现根据前述第一方面的方 法。
[0010]根据本公开实施例的用于从直播视频流剪辑视频的方法、装置、 设备、和存储介质，能够实现了视频流的类别识别以及基于类别的自 动视频剪辑。
[0011]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的 实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其 它特征将通过以下的描述变得容易理解。
附图说明
[0012]结合附图并参考以下详细说明，本公开各实施例的上述和其他特 征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注 表示相同或相似的元素，其中：
[0013]图1示出了本公开的实施例能够在其中实现的示例环境的示意 图；
[0014]图2示出了根据本公开的一些实施例的用于从直播视频流剪辑视 频的方法的流程图；
[0015]图3示出了根据本公开的一些实施例的用于从视频片段提取视频 子片段的方法的流程图；
[0016]图4示出了根据本公开的一些实施例的基于所提取的视频子片段 调节视频剪辑位置的流程图；
[0017]图5示出了根据本公开的一些实施例的基于所提取的视频子片段 调节视频剪辑位置的流程图；
[0018]图6示出了根据本公开的一些实施例的用于从直播视频流剪辑视 频的装置的示意框图；
[0019]图7示出了根据本公开的一些实施例的用于从直播视频流剪辑视 频的装置的提取模块的示意框图；
[0020]图8示出了根据本公开的一些实施例的用于从直播视频流剪辑视 频的装置的清晰度确定模块的示意框图；以及
[0021]图9示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示 了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形 式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这 些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公 开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范 围。
[0023]在本公开的实施例的描述中，术语“包括”及其类似用语应当理 解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至 少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至 少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相 同的对象。下文还可能包括其他明确的和隐含的定义。
[0024]如前所述，随着移动互联网的高速发展，人们的消费模式逐渐转 变，人们对精神文化的需求日益增加，直播成为当下一种流行的娱乐 文化。随着视频直播的发展，视频直播为网络平台提供流量的主要入 口之一。在视频直播期间，主播通常与网络用户进行各种互动，其中 在互动过程中，网络主播通常会有精彩的才艺表演片段，作为非限制 性示例，
这些才艺表演可包括唱歌、跳舞、乐器演奏等；在其他实施 例中，这些才艺表演还可包括脱口秀等。期望从这些直播视频流中剪 辑出这些精彩片段。根据本公开实施例的用于剪辑视频的方法和装置 能够实现直播视频流的视频类别识别以及基于识别类别的自动视频 剪辑。尽管本公开的实施例以直播视频流作为示例说明了视频剪辑方 法，应当理解的是，这仅仅是示例性的。根据本公开的视频剪辑方法 也可以用于非直播的视频剪辑。
[0025]以下将参照附图来具体描述本公开的实施例。
[0026]图1示出了本公开的多个实施例能够在其中实现的示例环境100 的示意图。在该示例环境100中包括一个或多个网络主播端110、服 务器端120以及一个或多个网络用户端130。网络主播端110是拥有 接入互联网能力的智能设备，通常搭载各种操作系统、视频设备、音 频装置，适于采集网络主播的视频图像和音频。网络主播端110可安 装适于进行视频直播的计算机程序、移动应用程序App等视频直播软 件。网络主播可通过启动网络主播端110的视频直播软件进行网络直 播。常见网络主播端110可包括移动智能终端、笔记本电脑、台式机 电脑、平板、或者其他提供计算能力和数据采集和通信能力的设备。
[0027]服务器端120可包括服务器、大型服务机等网络节点、诸如虚拟 机(VM)等云端计算设备、以及任何其他提供计算能力的设备。在 云环境中，服务器端有时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从直播视频流剪辑视频的方法，包括：从视频流获取第一预定时间长度的多个视频片段；确定所述多个视频片段是否属于预定分类；以及响应于确定所述多个视频片段中的一个第一视频片段属于所述预定分类，从所述第一视频片段中提取第二预定时间长度的视频子片段，作为视频剪辑片段至少一部分，其中所述第二预定时间长度小于所述第一预定时间长度。2.根据权利要求1所述的方法，其中从所述第一视频片段中提取第二预定时间长度的视频子片段包括：从所述第一视频片段中获取多个所述第二预定时间长度的视频子片段；确定多个视频子片段是否属于所述预定分类；响应于确定所述视频子片段属于所述预定分类，提取所述视频子片段作为视频剪辑片段。3.根据权利要求2所述的方法，其中确定所述第一视频片段是否属于预定分类是基于第一分类阈值执行；并且确定所述多个视频子片段是否属于所述预定分类是基于第二分类阈值执行；其中所述第一分类阈值小于所述第二分类阈值。4.根据权利要求1所述的方法，还包括：确定所述多个视频片段中视频片段的清晰度，其中确定所述多个视频片段是否属于预定分类是针对所述清晰度高于预定清晰度阈值的视频片段执行的。5.根据权利要求4所述的方法，其中，确定所述多个视频片段中视频片段的清晰度包括：以预定周期从所述视频片段获取至少一个图像帧；以及基于所获取的至少一个图像帧的清晰度来确定所述视频片段的清晰度。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述预定分类包括才艺表演类，其中所述才艺表演类包括唱歌、跳舞和乐器表演中的至少一种。7.根据权利要求6所述的方法，还包括：针对所述视频子片段，确定所述视频子片段在所述第一视频片段中的开始时刻；确定在所述第一视频片段中声音开始端点；以及以距离所述开始时刻最近的声音开始端点，作为所述视频剪辑片段的剪辑起始点，从所述第一视频片段提取所述视频剪辑片段。8.根据权利要求6所述的方法，还包括：针对所述视频子片段，确定所述视频子片段在所述第一视频片段中的结束时刻；确定在所述视频片段中声音结束端点；以距离所述结束时刻最近的所述声音结束端点，作为所述视频剪辑片段的剪辑结束点，从所述第一视频片段提取所述视频剪辑片段。9.根据权利要求1
‑
5、7和8中任一项所述的方法，还包括：针对所述视频剪辑片段，增加与所述视频剪辑片段匹配的片段头和/或片段尾。10.根据权利要求9所述的方法，其中增加片段头和/或片段尾包括：
获取与所述视频剪辑片段中的图像帧的尺寸匹配的图像；基于所述图像以及预定格式的文字，创建所述片段头和/或片段的图像帧；将所述文字转换成语音片段；以及基于所述片段头和/或片段尾的图像帧以及所述语音片段，生成片段头和/或片段尾视频。11.根据权利要求9所述的方法，还包括：将所述视频剪辑片段转换成图像帧；基于所述图像帧，生成与所述片段头和/或片段尾格式一致的视频片段；将所生成的视频片段与所述片段头和/或片段尾合并；以及自动发布所合并的视频。12.一种用于从直播视频流剪辑视频的装置，包括：视频片段获取模块，被配置为从视频流获取第一预定时间长度的多个视频片段；分类模块，被配置确定所述多个视频片段是否属于预定分类；以及提取模块，被配置为：响应于确定所述多个视频片段中的一个第一视频片段属于所述预定分类，从所述第一视频片段中提取第二预定时间长度的视频子片段，作为视频剪辑片段至少一部分，其中所述第二预定时间长度小于所述第一预定时间长度。13.根据权利要求12所述的装置，其中所述提取模块包括...

【专利技术属性】
技术研发人员：李晨曦，庞磊，王珊，聂卫国，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：