一种视频帧标注方法、装置、计算机设备和存储介质制造方法及图纸

本公开提供了一种视频帧标注方法、装置、计算机设备和存储介质，其中，该方法包括：按照预设时间间隔，从待标注视频中抽取各个视频帧；按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带，所述视频抽帧带中包含顺序展示的各个所述视频帧；其中，所述第一区域中同时展示的视频帧的数量不大于第一预设数量；响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段。段。段。

【技术实现步骤摘要】
一种视频帧标注方法、装置、计算机设备和存储介质


[0001]本公开涉及图像处理
，具体而言，涉及一种视频帧标注方法、装置、计算机设备和存储介质。

技术介绍

[0002]时序动作检测(Temporal Action Detection，TAD)任务，作为视频理解中的一种重要且复杂的任务，目的在于从待标注视频中，确定出目标对象执行的每个动作实例，以及每个动作实例对应的视频时间段。例如，确定出待标注视频中的目标对象，执行唱歌、跳舞等动作的各个视频时间段。现有的标注方式，存在标注速度慢、标注效率低的问题。
[0003]因此，如何提高视频帧标注速度和视频帧标注效率，成为了一个亟需解决的问题。

技术实现思路

[0004]本公开实施例至少提供一种视频帧标注方法、装置、计算机设备和存储介质。
[0005]第一方面，本公开实施例提供了一种视频帧标注方法，包括：
[0006]按照预设时间间隔，从待标注视频中抽取各个视频帧；
[0007]按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带，所述视频抽帧带中包含顺序展示的各个所述视频帧；其中，所述第一区域中同时展示的视频帧的数量不大于第一预设数量；
[0008]响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段。
[0009]在一种可能的实施方式中，在所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段之前，还包括：
[0010]在所述视频标注页的第二区域播放所述待标注视频；其中，在所述待标注视频播放过程中，滚动至所述第一区域的中线位置处的视频帧与所述待标注视频当前播放的视频帧相匹配；
[0011]所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段，包括：
[0012]响应于针对所述中线位置处的目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段；其中，所述标注操作为用户根据所述第二区域播放的所述待标注视频和所述第一区域滚动展示的视频抽帧带发起的。
[0013]在一种可能的实施方式中，所述标注操作包括标记位创建操作；所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段，包括：
[0014]在滚动展示视频抽帧带的过程中，响应于针对所述视频抽帧带中第一目标视频帧的标记位创建操作，确定所述第一区域的中线位置处对应的第一目标时间为待配对标注位置，并确定是否存在已生成的待配对标注位置；
[0015]若否，则在滚动展示视频抽帧带的过程中，响应于针对所述视频抽帧带中第二目标视频帧的标记位创建操作，确定所述中线位置处对应的第二目标时间为新的待配对标注位置；
[0016]将位于所述第一目标时间和所述第二目标时间之间的视频片段标注为标注视频片段，并将所述第一目标时间对应的待配对标注位置和所述新的待配对标注位置，作为已匹配标注位置。
[0017]在一种可能的实施方式中，在所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段之后，还包括：
[0018]响应于针对任一标注视频片段的选取操作，将该标注视频片段对应的首帧视频帧与所述第一区域的中线位置处对齐，并将第二区域中的所述待标注视频的播放进度与该标注视频片段的起始时间对齐。
[0019]在一种可能的实施方式中，在所述将位于所述第一目标时间和所述第二目标时间之间的视频片段，标注为以所述第一目标视频帧和所述第二目标视频帧为边界的标注视频片段之后，还包括：
[0020]基于所述第一目标时间和所述第二目标时间，生成标注片段指示信息，并将所述标注片段指示信息展示在视频标注页面的第三区域中，以及，在第二区域中的待标注视频对应的视频时间线上，生成并展示与所述第一目标时间和所述第二目标时间相匹配的时间片段标注线。
[0021]在一种可能的实施方式中，在按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带的过程中，还包括：
[0022]响应于针对所述视频抽帧带中的任一视频帧的拖动操作，确定在所述拖动操作结束后，所述中线位置处对应的目标时刻；
[0023]在所述中线位置处，展示播放时间与所述目标时刻相匹配的匹配视频帧，并将所述第二区域中的所述待标注视频的播放进度与所述目标时刻对齐。
[0024]在一种可能的实施方式中，在按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带的过程中，还包括：
[0025]响应于针对所述第一区域中当前展示的任一视频帧的选取操作，在所述第一区域的中线位置处，展示选取的该视频帧，并将第二区域中的所述待标注视频的播放进度与该视频帧对应的时刻对齐。
[0026]在一种可能的实施方式中，所述按照预设时间间隔，从待标注视频中抽取各个视频帧，包括：
[0027]按照预设时间间隔，从待标注视频中抽取各个视频帧，并按照每帧所述视频帧在所述待标注视频中的先后顺序，将所述视频帧划分至至少一个视频帧组；其中，一个视频帧组中的视频帧的数量为第二预设数量；
[0028]在所述将所述视频帧划分至至少一个视频帧组之后，还包括：
[0029]响应于视频帧组切换操作，确定在所述第一区域的中线位置处、当前展示的目标视频帧对应的第一视频帧组；
[0030]根据所述视频帧组切换操作指示的切换方向，在所述中线位置处展示与所述第一视频帧组相邻的第二视频帧组的首帧视频帧。
[0031]在一种可能的实施方式中，在按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带的过程中，还包括：
[0032]响应于展示进度调整操作，确定在所述第一区域的中线位置处、当前展示的第一视频帧；
[0033]根据所述展示进度调整操作对应的进度调整方向，按照预设调整间隔，确定与所述第一视频帧对应的第二视频帧，并在所述中线位置处展示所述第二视频帧；
[0034]将第二区域中的所述待标注视频的播放进度与所述第二视频帧相匹配的时刻对齐。
[0035]在一种可能的实施方式中，所述标注视频片段为所述待标注视频中的目标对象执行目标动作时的视频片段；
[0036]在所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段之前，还包括：
[0037]利用动作边界检测算法，从所述待标注视频中抽取出与目标动作的动作边界相匹配的各个关键帧，并按照各个所述关键帧在所述待标注视频中的先后顺序，在视频标注页面中的第四区域滚动展示关键帧带，所述关键帧带中包含顺序展示的各个所述关键帧；所述动作边界对应的关键帧包括所述目标对象开始执行所述目标动作时的视频帧，和所述目标对象停止执行所述目标动作时的视频帧；...

【技术保护点】

【技术特征摘要】
1.一种视频帧标注方法，其特征在于，包括：按照预设时间间隔，从待标注视频中抽取各个视频帧；按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带，所述视频抽帧带中包含顺序展示的各个所述视频帧；其中，所述第一区域中同时展示的视频帧的数量不大于第一预设数量；响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段。2.根据权利要求1所述的方法，其特征在于，在所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段之前，还包括：在所述视频标注页的第二区域播放所述待标注视频；其中，在所述待标注视频播放过程中，滚动至所述第一区域的中线位置处的视频帧与所述待标注视频当前播放的视频帧相匹配；所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段，包括：响应于针对所述中线位置处的目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段；其中，所述标注操作为用户根据所述第二区域播放的所述待标注视频和所述第一区域滚动展示的视频抽帧带发起的。3.根据权利要求1所述的方法，其特征在于，所述标注操作包括标记位创建操作；所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段，包括：在滚动展示视频抽帧带的过程中，响应于针对所述视频抽帧带中第一目标视频帧的标记位创建操作，确定所述第一区域的中线位置处对应的第一目标时间为待配对标注位置，并确定是否存在已生成的待配对标注位置；若否，则在滚动展示视频抽帧带的过程中，响应于针对所述视频抽帧带中第二目标视频帧的标记位创建操作，确定所述中线位置处对应的第二目标时间为新的待配对标注位置；将位于所述第一目标时间和所述第二目标时间之间的视频片段标注为标注视频片段，并将所述第一目标时间对应的待配对标注位置和所述新的待配对标注位置，作为已匹配标注位置。4.根据权利要求3所述的方法，其特征在于，在所述响应于针对所述视频抽帧带中目标视频帧的标注操作，得到根据所述目标视频帧确定的标注视频片段之后，还包括：响应于针对任一标注视频片段的选取操作，将该标注视频片段对应的首帧视频帧与所述第一区域的中线位置处对齐，并将第二区域中的所述待标注视频的播放进度与该标注视频片段的起始时间对齐。5.根据权利要求3所述的方法，其特征在于，在所述将位于所述第一目标时间和所述第二目标时间之间的视频片段，标注为以所述第一目标视频帧和所述第二目标视频帧为边界的标注视频片段之后，还包括：基于所述第一目标时间和所述第二目标时间，生成标注片段指示信息，并将所述标注片段指示信息展示在视频标注页面的第三区域中，以及，在第二区域中的待标注视频对应
的视频时间线上，生成并展示与所述第一目标时间和所述第二目标时间相匹配的时间片段标注线。6.根据权利要求2所述的方法，其特征在于，在按照各个所述视频帧在所述待标注视频中的先后顺序，在视频标注页面中的第一区域滚动展示视频抽帧带的过程中，还包括：响应于针对所述视频抽帧带中的任一视频帧的拖动操作，确定在所述拖动操作结束后，所述中线位置处对应的目标时刻；在所述中线位置处，展示播放时间与所述目标时刻相匹配的匹配视频帧，并将所述第二区域中的所述待标注视频的播放进度与所述目标时刻对齐。7.根据权利...

【专利技术属性】
技术研发人员：袁韬文，蒋惠莹，胥可，杨峰，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：