本公开实施例公开了一种视频帧选取方法、装置、设备、存储介质。该方法包括：确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的运动差分分布情况；基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。通过本公开，提高了采样出的图像帧的准确性和有效性，实现了对视频帧序列的自适应采样。样。样。
【技术实现步骤摘要】
视频帧选取方法、装置、电子设备及计算机可读存储介质
[0001]本公开涉及人工智能技术，尤其涉及一种视频帧选取方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]基于视频数据的行为识别是视频行为理解领域中，一个重要且极具挑战性的课题。基于视频的行为识别模型在很多领域都起到了重要的作用，比如视频推荐和人机交互等等。
[0003]基于视频的行为识别任务主要解决的问题是，给定一段包含特定动作的视频，需要判断这段视频的具体动作类别；同时分类的准确度是检测模型优良的重要指标。然而，通常用于检测的视频是长视频，且长视频中往往存在大量的无用信息，而目标动作(感兴趣内容)往往只发生了短暂的片刻。为此，相关技术中通常运用采样的方式从视频中提取一些图像帧以进行检测。然而，相关技术中的采样方式通常采样间隔比较固定，导致容易忽视关键的信息，且采样出来的图像帧也容易包含冗余的信息，采样出的图像帧并不准确，采样效果较差，而且对不同节奏/快慢的行为的自适应性不强。
技术实现思路
[0004]本公开实施例提供一种视频帧选取方法、装置、电子设备、存储介质，能够提高采样出的图像帧的准确性和有效性，实现对视频帧序列的自适应采样。
[0005]本公开实施例的技术方案是这样实现的：
[0006]本公开实施例提供一种视频帧选取方法，包括：
[0007]确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；
[0008]确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的累积运动差分分布情况；
[0009]基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
[0010]在本公开的一些实施例中，所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差，包括：
[0011]确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素差值，得到与所述像素点的数量一致的像素差值；
[0012]将与所述像素点的数量一致的像素差值求和，得到所述每一组相邻图像帧对应的所述帧差。
[0013]在本公开的一些实施例中，在所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和之前，所述方法还包括：
[0014]获取目标场景的视频序列；
[0015]将所述视频序列中与预设时间窗口对应的连续图像帧，确定为所述目标视频帧序列；或，在从所述视频序列中获取到第二预设数量的连续图像帧的情况下，将所述第二预设数量的连续图像帧确定为所述目标视频帧序列。
[0016]在本公开的一些实施例中，所述确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值，包括：
[0017]对所述目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到所述每个帧差对应的归一化值；
[0018]确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值。
[0019]在本公开的一些实施例中，所述确定每个归一化值对应的累积概率分布值，包括：
[0020]对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值；
[0021]确定所述增强值对应的所述累积概率分布值。
[0022]在本公开的一些实施例中，所述对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值，包括：
[0023]采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的所述增强值；
[0024]所述基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，包括：
[0025]基于多个所述增强值一一对应的多个所述累积概率分布值，确定累积运动差分分布曲线；
[0026]基于所述累积运动差分分布曲线，对所述目标视频帧序列进行图像帧采样，得到所述关键图像帧。
[0027]在本公开的一些实施例中，所述采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值，包括：
[0028]对于所述每个归一化值，确定所述每个归一化值的所述目标次方值，得到第一数值；
[0029]对所述各个归一化值的第一数值进行求和，得到第二数值；
[0030]将所述每个归一化值的所述第一数值与所述第二数值之间的比值，确定为所述每个归一化值对应的所述增强值。
[0031]在本公开的一些实施例中，所述确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值，包括：
[0032]根据所述多个帧差的获得顺序，对与所述多个帧差对应的多个归一化值进行排序，得到排序结果；
[0033]根据所述排序结果，确定出每个归一化值与排列在所述每个归一化值之前的归一化值之间的数值之和，得到所述每个归一化值对应的所述累积概率分布值，从而得到所述多个归一化值对应的所述多个累积概率分布值。
[0034]在本公开的一些实施例中，所述基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，包括：
[0035]基于所述多个累积概率分布值，确定累积运动差分分布曲线；所述累积运动差分分布曲线的纵坐标为所述多个累积概率分布值组成的概率分布值范围，横坐标为所述目标视频帧序列中的图像帧的标识；其中，所述概率分布值范围中的每个概率分布值与所述目标视频帧序列中的一个图像帧对应；
[0036]基于所述累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧。
[0037]在本公开的一些实施例中，所述基于累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧，包括：
[0038]将所述概率分布值范围均匀划分为所述第一预设数量的子范围，并确定每个子范围对应的图像帧；
[0039]将与所述第一预设数量的子范围对应的所述第一预设数量的图像帧，确定为所述关键图像帧。
[0040]本公开实施例提供一种视频帧选取装置，包括：
[0041]确定单元，用于确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的累积运动差分分布情况；
[0042]采样单元，用于基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
[0043]在本公开的一些实施例中，所述确定单元，还用于确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频帧选取方法，其特征在于，包括：确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的累积运动差分分布情况；基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。2.根据权利要求1所述的方法，其特征在于，所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差，包括：确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素差值，得到与所述像素点的数量一致的像素差值；将与所述像素点的数量一致的像素差值求和，得到所述每一组相邻图像帧对应的所述帧差。3.根据权利要求1或2所述的方法，其特征在于，在所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和之前，所述方法还包括：获取目标场景的视频序列；将所述视频序列中与预设时间窗口对应的连续图像帧，确定为所述目标视频帧序列；或，在从所述视频序列中获取到第二预设数量的连续图像帧的情况下，将所述第二预设数量的连续图像帧确定为所述目标视频帧序列。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值，包括：对所述目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到所述每个帧差对应的归一化值；确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值。5.根据权利要求4所述的方法，其特征在于，所述确定每个归一化值对应的累积概率分布值，包括：对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值；确定所述增强值对应的所述累积概率分布值。6.根据权利要求5所述的方法，其特征在于，所述对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值，包括：采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的所述增强值；所述基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，包括：基于多个所述增强值一一对应的多个所述累积概率分布值，确定累积运动差分分布曲线；基于所述累积运动差分分布曲线，对所述目标视频帧序列进行图像帧采样，得到所述
关键图像帧。7.根据权利要求6所述的方法，其特征在于，所述采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值...
【专利技术属性】
技术研发人员：苏海昇，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。