对视频进行关键内容分割的方法及电子设备技术

本申请实施例公开了对视频进行关键内容分割的方法及电子设备，所述方法包括：接收待进行关键内容分割的目标视频，以及包含所需关注的关键内容的目标图像；从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容；对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果。通过本申请实施例，能够提升对视频进行关键内容分割处理的智能性及通用性。能性及通用性。能性及通用性。

【技术实现步骤摘要】
对视频进行关键内容分割的方法及电子设备


[0001]本申请涉及视频处理
，特别是涉及对视频进行关键内容分割的方法及电子设备。

技术介绍

[0002]随着短视频、直播的兴起，视频内容分析成为一个越来越重要的研究方向，在对视频内容进行分析的过程中，其中一个重要的方面在于，分割出视频中出现的人物、物体等关键内容，以便于对视频进行编辑、裁剪等处理。例如，对于与商品讲解介绍等相关的视频，在后期制作过程中，可能需要将其中的商品图像作为更需要关注的关键内容突出出来(例如，对商品图像做局部放大，加闪光等效果，添加文字，等等)，或者，将商品图像等关键内容识别出来之后进行抠图处理，然后对视频进行背景替换，等等。
[0003]其中，对于视频进行关键内容分割的具体实现，现有技术中的一种实现方式是，对于给定的多个类别的物体进行同步的跟踪和分割，也就是说，预先定义出多种可识别的物体类别，然后可以对其中任意类别的物体实现跟踪及分割。但是，这种方式依赖于对物体类别的预先定义，对于系统中未预先定义的物体类别无法进行跟踪及分割。另一种现有的实现方式是，在对视频第一帧中的关键内容进行人工标注，之后，由算法基于第一帧中的标注信息对后续帧进行关键内容分割。这种方式突破了物体类别的限制，但是，这种方式依赖于对第一帧的人工标注，如果第一帧不存在所需关注的物体的内容，则难以实现，另外，也难以实现对对多个物体的同步处理。
[0004]因此，如何提升对视频进行关键内容分割处理的智能性及通用性，成为需要本领域技术人员解决的技术问题。
专利技术内容
[0005]本申请提供了对视频进行关键内容分割的方法及电子设备，能够提升对视频进行关键内容分割处理的智能性及通用性。
[0006]本申请提供了如下方案：
[0007]一种对视频进行关键内容分割的方法，包括：
[0008]接收待进行关键内容分割的目标视频，以及包含所需关注的关键内容的目标图像；
[0009]从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容；
[0010]对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果。
[0011]其中，所述从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容，包括：
[0012]从所述目标视频中，获取与所述目标图像中关键内容相关的至少一个候选关键内容的特征信息；
[0013]通过将所述至少一个候选关键内容的特征信息与所述目标图像中关键内容的图
像特征进行匹配，从所述至少一个候选关键内容中确定置信度符合条件的目标关键内容；
[0014]所述对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果，包括：
[0015]根据所述目标关键内容对应的特征信息进行分割及跟踪处理，并输出关键内容分割结果。
[0016]其中，所述候选关键内容的特征信息包括：所述候选关键内容在所述目标视频的多个图像帧中是否出现，以及出现的区域位置信息。
[0017]其中，所述从所述目标视频中，获取与所述目标图像中关键内容相关的至少一个候选关键内容的特征信息，包括：
[0018]分别对所述目标图像以及目标视频进行特征提取，并将提取到的图像特征信息与视频特征信息进行融合获得融合后的特征信息，以便将所述目标视频中与所述关键内容相关的部分被激活，无关的部分被忽略；
[0019]通过对所述融合后的特征信息进行解码，确定从所述目标视频中识别出的至少一个候选关键内容的特征信息。
[0020]其中，所述通过对所述融合后的特征信息进行解码，确定从所述目标视频中识别出的至少一个候选关键内容的特征信息，包括：
[0021]利用基于注意力机制的深度学习模型对所述融合后的特征信息进行解码，以便确定从所述目标视频中识别出的至少一个候选关键内容的特征信息；
[0022]其中，以目标数量的随机向量作为所述深度学习模型的第一输入信息，以所述融合后的特征信息作为所述深度学习模型的第二输入信息以及第三输入信息。
[0023]其中，所述根据所述目标关键内容对应的特征信息进行分割及跟踪处理，并输出关键内容分割结果，包括：
[0024]根据所述目标关键内容对应的特征信息，获取所述目标关键内容在所述目标视频的多个图像帧中的二值化掩码；其中，所述二值化掩码用于将所述图像帧中属于所述目标关键内容的部分用第一数值表示，不属于所述目标关键内容的部分用第二数值表示；
[0025]根据所述二值化掩码，输出所述目标关键内容在所述目标视频的多个图像帧中的分割结果。
[0026]其中，所述根据所述二值化掩码，输出所述目标关键内容在所述目标视频的多个图像帧中的分割结果，包括：
[0027]根据所述二值化掩码在所述多个图像帧之间对所述目标关键内容进行实例化跟踪处理，以获取关于所述目标关键内容的多个实例分别对应的二值化掩码；
[0028]根据所述多个实例分别对应的二值化掩码，输出所述目标关键内容的多个实例分别在所述目标视频的多个图像帧中的分割结果。
[0029]其中，所述目标视频包括：与商品讲解相关的视频，所述目标图像包括：包含所需关注的商品信息的图像。
[0030]其中，所述目标视频包括：与人物相关的视频，所述目标图像包括：包含所需关注的人物信息的图像。
[0031]一种生成商品讲解视频的方法，包括：
[0032]获取待进行商品内容分割的目标视频，以及包含所需关注的商品信息的目标图像；
[0033]从所述目标视频中确定与所述目标图像中的商品匹配的目标商品；
[0034]对所述目标商品进行分割及跟踪处理，并输出商品内容分割结果；
[0035]根据所述商品内容分割结果对所述目标视频进行编辑处理，以生成关于所述目标商品的讲解视频。
[0036]一种对视频进行关键内容分割的装置，包括：
[0037]输入信息接收单元，用于接收待进行关键内容分割的目标视频，以及包含所需关注的关键内容的目标图像；
[0038]目标关键内容确定单元，用于从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容；
[0039]分割结果输出单元，用于对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果。
[0040]一种生成商品讲解视频的装置，包括：
[0041]输入信息接收单元，用于获取待进行商品内容分割的目标视频，以及包含所需关注的商品信息的目标图像；
[0042]目标商品确定单元，用于从所述目标视频中确定与所述目标图像中的商品匹配的目标商品；
[0043]分割结果输出单元，用于对所述目标商品进行分割及跟踪处理，并输出商品内容分割结果；
[0044]编辑处理单元，用于根据所述商品内容分割结果对所述目标视频进行编辑处理，以生成关于所述目标商品的讲解视频。
[0045]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对视频进行关键内容分割的方法，其特征在于，包括：接收待进行关键内容分割的目标视频，以及包含所需关注的关键内容的目标图像；从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容；对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果。2.根据权利要求1所述的方法，其特征在于，所述从所述目标视频中确定与所述目标图像中的关键内容匹配的目标关键内容，包括：从所述目标视频中，获取与所述目标图像中关键内容相关的至少一个候选关键内容的特征信息；通过将所述至少一个候选关键内容的特征信息与所述目标图像中关键内容的图像特征进行匹配，从所述至少一个候选关键内容中确定置信度符合条件的目标关键内容；所述对所述目标关键内容进行分割及跟踪处理，并输出关键内容分割结果，包括：根据所述目标关键内容对应的特征信息进行分割及跟踪处理，并输出关键内容分割结果。3.根据权利要求2所述的方法，其特征在于，所述候选关键内容的特征信息包括：所述候选关键内容在所述目标视频的多个图像帧中是否出现，以及出现的区域位置信息。4.根据权利要求2所述的方法，其特征在于，所述从所述目标视频中，获取与所述目标图像中关键内容相关的至少一个候选关键内容的特征信息，包括：分别对所述目标图像以及目标视频进行特征提取，并将提取到的图像特征信息与视频特征信息进行融合获得融合后的特征信息，以便将所述目标视频中与所述关键内容相关的部分被激活，无关的部分被忽略；通过对所述融合后的特征信息进行解码，确定从所述目标视频中识别出的至少一个候选关键内容的特征信息。5.根据权利要求4所述的方法，其特征在于，所述通过对所述融合后的特征信息进行解码，确定从所述目标视频中识别出的至少一个候选关键内容的特征信息，包括：利用基于注意力机制的深度学习模型对所述融合后的特征信息进行解码，以便确定从所述目标视频中识别出的至少一个候选关键内容的特征信息；其中，以目标数量的随机向量作为所述深度学习模型的第一输入信息，以所述融合后的特征信息作为所述深度学习模型的第二输入信息以及第三输入信息。6.根据权利要求2所述的方...

【专利技术属性】
技术研发人员：战春儒，王标，葛铁铮，姜宇宁，周思远，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：