视频边框识别方法、装置、可读介质及电子设备制造方法及图纸

本公开涉及一种视频边框识别方法、装置、可读介质及电子设备，该视频边框识别方法通过将该目标视频划分为多个子视频；从每个该子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；然后通过预设边框识别模型获取该多帧待识别图像对应的多尺度的特征图集合，根据该特征图集合中的空间分辨率最小的特征图确定该目标视频是否存在边框；并在确定该目标视频存在边框的情况下，通过对该特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据该待定特征图预测该目标位置；能够同时考虑视频的时序信息以及空间信息，也能够对视频的深层语义特征和浅层空间特征进行有效融合，从而能够有效提升边框位置识别结果的准确性。从而能够有效提升边框位置识别结果的准确性。从而能够有效提升边框位置识别结果的准确性。

【技术实现步骤摘要】
视频边框识别方法、装置、可读介质及电子设备


[0001]本公开涉及计算机
，具体地，涉及一种视频边框识别方法、装置、可读介质及电子设备。

技术介绍

[0002]现实场景中，经常需要对带边框的视频进行边框识别操作，例如，视频发布平台中，经常遇到用户上传的视频带有边框的情况，若要使该视频既能在适用于竖版视频的设备上发布，也能在适用于横版视频的设备上发布，通常需要先对该带有边框的视频中的视频边框进行有效识别，确定该带有边框的视频的主体区域(即去除边框后的视频图像区域)，然后根据该主体区域进行尺寸调整，以满足适用于竖版视频的设备的播放需求，或者满足适用于横版视频的设备的播放需求。然而，目前的视频边框识别方法通常存在边框位置识别结果准确性较差，不利于视频主体位置确定的问题。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]本公开提供一种视频边框识别方法、装置、可读介质及电子设备。
[0005]第一方面，本公开提供一种视频边框识别方法，所述方法包括：
[0006]获取待识别的目标视频，并将所述目标视频划分为多个子视频；
[0007]从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
[0008]将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
[0009]其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
[0010]第二方面，本公开提供一种视频边框识别装置，所述装置包括：
[0011]第一获取模块，被配置为获取待识别的目标视频，并将所述目标视频划分为多个子视频；
[0012]第二获取模块，被配置为从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；
[0013]确定模块，被配置为将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；
[0014]其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。
[0015]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现以上第一方面所述方法的步骤。
[0016]第四方面，本公开提供一种电子设备，包括：
[0017]存储装置，其上存储有计算机程序；
[0018]处理装置，用于执行所述存储装置中的所述计算机程序，以实现以上第一方面所述方法的步骤。
[0019]上述技术方案，通过将所述目标视频划分为多个子视频；从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；然后通过预设边框识别模型获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置；这样，通过对多个子视频对应的多帧待识别图像进行多尺度的特征提取，能够同时考虑视频的时序信息以及空间信息，并且通过对不同尺度的特征图进行融合，能够实现视频的深层语义特征和浅层空间特征的有效融合，再根据所述待定特征图预测所述目标位置，能够有效提升边框位置识别结果的准确性。
[0020]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0022]图1是本公开一示例性实施例示出的一种视频边框识别方法的流程图；
[0023]图2是根据本公开图1所示实施例示出的一种预设边框识别模型的框图；
[0024]图3是根据本公开图2所示实施例示出的一种视频边框识别方法的流程图；
[0025]图4是本公开一示例性实施例示出的一种边框识别方法的识别过程示意图；
[0026]图5是本公开一示例性实施例示出的一种预设边框识别模型的训练方法流程图；
[0027]图6是本公开一示例性实施例示出的一种视频边框识别装置的框图；
[0028]图7是本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0029]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0030]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，
和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0031]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0032]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0033]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0034]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0035]在详细介绍本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频边框识别方法，其特征在于，所述方法包括：获取待识别的目标视频，并将所述目标视频划分为多个子视频；从每个所述子视频中抽取预设数量帧待识别图像，以得到多帧待识别图像；将所述多帧待识别图像输入预设边框识别模型，以使所述预设边框识别模型输出边框识别结果，所述边框识别结果用于表征所述目标视频是否存在边框，以及在所述目标视频存在边框的情况下，所述边框的目标位置；其中，所述预设边框识别模型用于，获取所述多帧待识别图像对应的多尺度的特征图集合，根据所述特征图集合中的空间分辨率最小的特征图确定所述目标视频是否存在边框；并在确定所述目标视频存在边框的情况下，通过对所述特征图集合中不同尺度的特征图进行融合，以得到待定特征图，根据所述待定特征图预测所述目标位置。2.根据权利要求1所述的方法，其特征在于，所述预设边框识别模型包括主干网络模块，特征融合模块，第一分类模块和第二分类模块，所述主干网络模块包括多级特征提取子网络，不同级的所述特征提取子网络用于提取不同尺度的特征图；所述主干网络模块与所述特征融合模块和所述第一分类模块耦合，所述特征融合模块还与所述第二分类模块耦合；所述预设边框识别模型用于：获取每帧待识别图像对应的多通道特征图；将多个所述子视频对应的多通道特征图进行拼接后输入所述主干网络模块，以使多级所述特征提取子网络输出多个指定尺度的特征图，以得到所述特征图集合；通过所述第一分类模块根据所述特征图集合中所述空间分辨率最小的特征图确定所述目标视频是否存在边框；在确定所述目标视频存在边框的情况下，通过所述特征融合模块对所述多个指定尺度的特征图进行融合，以得到所述待定特征图；通过所述第二分类模块对所述待定特征图进行行池化处理以得到第一目标特征图，对所述待定特征图进行列池化处理，以得到第二目标特征图；根据所述第一目标特征图预测所述边框中角点的纵坐标，根据所述第二目标特征图预测所述述边框中角点的横坐标。3.根据权利要求2所述的方法，其特征在于，所述多个指定尺度的特征图包括第一尺度的第一特征图，第二尺度的第二特征图和第三尺度的第三特征图，所述第一尺度小于所述第二尺度，所述第二尺度小于所述第三尺度，所述通过所述特征融合模块对所述多个指定尺度的特征图进行融合，以得到所述待定特征图，包括：将多个所述子视频对应的所述第一特征图拼接后进行卷积操作和上采样处理，以得到与所述第二特征图尺度相同的第一指定特征图；将多个所述子视频对应的所述第二特征图拼接后进行卷积操作，以得到第二指定特征图；根据所述第一指定特征图和所述第二指定特征图确定与所述第三特征图尺度相同的第三指定特征图；对所述第三指定特征图和所述第三特征图进行卷积操作和上采样处理，以得到目标尺度的所述待定特征图。4.根据权利要求2所述的方法，其特征在于，所述通过所述第二分类模块对所述待定特
征图进行行池化处理以得到第一目标特征图，对所述待定特征图进行列池化处理，以得到第二目标特征图，包括：获取所述待定特征图中每行元素的均值，以得到所述第一目标特征图；获取所述待定特征图中每列元素的均值，以得到所述第二目标特征图。5.根据权利要求2所述的方法，其特征在于，所述第二分类模块包括第一分类器，第二分类器，第三分类器和第四分类器，所述根据所述第一目标特征图预测所述边框中角点的纵坐标，根据所述第二目标特征图预测所述述边框中角点的横坐标...

【专利技术属性】
技术研发人员：张帆，周文，卢靓妮，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：