视频抽帧处理与倍速播放方法、装置、视频平台及介质制造方法及图纸

本申请实施例提供了视频抽帧处理与倍速播放方法、装置、视频平台及介质，所述方法包括：获取视频序列的编码图像，并获取编码图像的显示时间戳和非参考帧标志；其中，编码图像具有时域层级的编码结构；按照时域层级，根据显示时间戳和非参考帧标志，确定视频序列的丢帧位置；根据丢帧位置对视频序列进行抽帧操作。基于按照时域层级对视频序列进行的逐层抽帧操作，以及按照非参考帧标志所进行的丢帧，从而大幅提高丢帧率，大幅度降低播放视频序列时所进行的解码、渲染等视频处理过程的计算量，降低处理耗时，进而达到提高快速播放的倍速以及提高快速播放的流畅度的效果，满足在倍速播放需求下对分辨率和播放帧率的高要求。速播放需求下对分辨率和播放帧率的高要求。速播放需求下对分辨率和播放帧率的高要求。

【技术实现步骤摘要】
视频抽帧处理与倍速播放方法、装置、视频平台及介质


[0001]本申请涉及视频处理
，特别是涉及一种视频抽帧处理方法与相应的一种视频抽帧装置、一种视频倍速播放方法与相应的一种视频倍速播放装置、相应的一种视频平台，以及相应的一种计算机可读存储介质。

技术介绍

[0002]在视频播放领域中，能够基于视频播放器、各类在线视频网站/APP等进行视频播放，通常可以向用户提供视频倍速播放的功能，例如可以提供1.25
×
、1.5
×
、2.0
×
、3.0
×
以及4.0
×
等倍速的快放能力。
[0003]随着视频从标清到超高清的不断发展，空间分辨率从720p发展到4K/8K，帧率从24fps发展到60fps/120fps，那么随着视频快放的倍速提高，将会存在对分辨率和播放帧率的高要求，然而在使用CPU(Central Processing Unit，中央处理器)实现软件解码或者SoC硬件芯片(System on Chip，系统级芯片)解码的相关技术中，难以基于相关解码方式满足对分辨率和播放帧率的高要求。

技术实现思路

[0004]鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频抽帧处理方法与相应的一种视频抽帧装置、一种视频倍速播放方法与相应的一种视频倍速播放装置、相应的一种视频平台，以及相应的一种计算机可读存储介质。
[0005]本申请实施例公开了一种视频抽帧处理方法，所述方法包括：获取视频序列的编码图像，并获取所述编码图像的显示时间戳和非参考帧标志；其中，所述编码图像具有时域层级的编码结构；按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置；根据所述丢帧位置对所述视频序列进行抽帧操作。
[0006]可选地，所述按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置，包括：获取所述视频序列的帧序列；所述帧序列包括若干个帧序列；以所述帧序列为周期，按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置。
[0007]可选地，所述获取所述视频序列的帧序列，包括：基于所述显示时间戳在所述视频序列中，作为帧序列的起始帧；基于所述起始帧和所述编码结构，确定位于所述起始帧后预设个数的各个图像帧与所述起始帧为同一帧序列。
[0008]可选地，所述按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置，包括：基于所述图像编码的编码结构，确定各个帧序列中起始帧与位于同一帧序列的各个图像帧所处的时域层级；按照各个时域层级，根据所述显示时间戳和所述非参考帧标志确定丢帧位置。
[0009]可选地，所述按照各个时域层级，根据所述显示时间戳和/或所述非参考帧标志确
定丢帧位置，包括：获取针对所述显示时间戳的第一抽帧策略，以及获取针对所述非参考帧标志的第二抽帧策略；根据所述第一抽帧策略和所述第二抽帧策略，确定各个帧序列中各个时域层级的丢帧位置。
[0010]可选地，所述根据所述第一抽帧策略和所述第二抽帧策略，确定各个帧序列中各个所处时域层级的丢帧位置，包括：按照各个时域层级，基于所述第一抽帧策略确定所述帧序列的第一丢帧位置；获取针对所述图像编码的映射关系，基于所述映射关系对当前所处时域层级的待解码的图像帧进行映射，得到映射后的显示顺序；其中，所述映射关系用于表示所述视频序列的显示顺序与解码顺序的转换关系；响应所述映射后的显示顺序中所述第一丢帧位置不满足预设顺序，采用所述第二抽帧策略确定各个帧序列的第二丢帧位置，将所述第二丢帧位置作为所述视频序列的丢帧位置。
[0011]可选地，还包括：在确定第一丢帧位置之后，响应所述映射后的显示顺序中所述第一丢帧位置满足预设顺序，采用所述第一丢帧位置作为所述视频序列的丢帧位置。
[0012]可选地，所述各个时域层级包括从高层级到低层级排序的多个时域层级；所述按照各个时域层级，基于所述第一抽帧策略确定所述帧序列的第一丢帧位置，包括：获取处于各个时域层级的各个图像帧；基于所述第一抽帧策略将高层级的时域层级的各个图像帧作为第一目标帧，并将所述第一目标帧在所述帧序列中所处的位置确定为第一丢帧位置；若所确定的第一目标帧不满足预设丢帧率，则按照从高层级到低层级的顺序，将各个时域层级的各个图像帧不断作为第一目标帧，并将所述第一目标帧在所述帧序列中所处的位置确定为第一丢帧位置，直至所确定的第一目标帧满足预设丢帧率为止；其中，所述预设丢帧率基于期望解码帧率确定，所述期望解码帧率满足期望播放速度。
[0013]可选地，所述采用所述第二抽帧策略确定各个帧序列的第二丢帧位置，包括：基于所述第二抽帧策略，按照编码图像携带的非参考帧标志，确定各个帧序列的第二丢帧位置。
[0014]可选地，所述按照编码图像携带的非参考帧标志，确定各个帧序列的第二丢帧位置，包括：基于映射后的显示顺序中不满足预设顺序的第一丢帧位置为错误帧位置；按照编码图像的非参考帧标志和所述错误帧位置，确定第二丢帧位置。
[0015]可选地，所述按照编码图像携带的非参考帧标志和所述错误帧位置，确定第二丢帧位置，包括：获取在针对所述图像编码的解码顺序中，位于所述错误帧位置之后的图像帧；若所述编码图像具有参考帧和/或非参考帧标志，则从所述错位帧位置相应的图像帧以及位于所述错误帧位置之后的图像帧中，确定具有非参考帧标志的图像帧所在的位置为第二丢帧位置；
[0016]还包括：若所述编码图像并未携带非参考帧标志，则不进行对所述第二丢帧位置的确定操作。
[0017]可选地，所述根据所述丢帧位置对所述视频序列进行抽帧操作，包括：根据所述丢帧位置确定所述视频序列的目标帧，对所述目标帧进行抽帧操作；所述丢帧位置包括针对显示时间戳的第一抽帧策略确定的第一丢帧位置，和针对非参考标志的第二抽帧策略确定的第二丢帧位置；所述根据所述丢帧位置确定所述视频序列的目标帧，对所述目标帧进行抽帧操作，包括：获取所述视频序列中位于第一丢帧位置的第一目标帧，以及位于第二丢帧位置的第二目标帧；在所述视频序列中对所述第一目标帧和所述第二目标帧进行抽帧操作。
[0018]可选地，进行抽帧操作后的视频序列满足期望播放速度，还包括：对所述进行抽帧操作后的视频序列，按照所述期望播放速度进行相应的倍速播放。
[0019]本申请实施例还公开了一种视频倍速播放方法，所述方法包括：接收用户的视频倍速播放指令；所述视频倍速播放指令包括期望播放速度；响应所述视频倍速播放指令，获取视频序列的编码图像，并获取所述编码图像的显示时间戳和非参考帧标志；其中，所述编码图像具有时域层级的编码结构；按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置；根据所述丢帧位置对所述视频序列进行抽帧操作；对所述进行抽帧操作后的视频序列，按照所述期望播放速度进行相应的倍速播放。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频抽帧处理方法，其特征在于，所述方法包括：获取视频序列的编码图像，并获取所述编码图像的显示时间戳和非参考帧标志；其中，所述编码图像具有时域层级的编码结构；按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置；根据所述丢帧位置对所述视频序列进行抽帧操作。2.根据权利要求1所述的方法，其特征在于，所述按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置，包括：获取所述视频序列的帧序列；所述帧序列包括若干个帧序列；以所述帧序列为周期，按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置。3.根据权利要求2所述的方法，其特征在于，所述获取所述视频序列的帧序列，包括：基于所述显示时间戳在所述视频序列中，作为帧序列的起始帧；基于所述起始帧和所述编码结构，确定位于所述起始帧后预设个数的各个图像帧与所述起始帧为同一帧序列。4.根据权利要求2所述的方法，其特征在于，所述按照所述时域层级，根据所述显示时间戳和所述非参考帧标志，确定所述视频序列的丢帧位置，包括：基于所述图像编码的编码结构，确定各个帧序列中起始帧与位于同一帧序列的各个图像帧所处的时域层级；按照各个时域层级，根据所述显示时间戳和所述非参考帧标志确定丢帧位置。5.根据权利要求4所述的方法，其特征在于，所述按照各个时域层级，根据所述显示时间戳和所述非参考帧标志确定丢帧位置，包括：获取针对所述显示时间戳的第一抽帧策略，以及获取针对所述非参考帧标志的第二抽帧策略；根据所述第一抽帧策略和所述第二抽帧策略，确定各个帧序列中各个时域层级的丢帧位置。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一抽帧策略和所述第二抽帧策略，确定各个帧序列中各个所处时域层级的丢帧位置，包括：按照各个时域层级，基于所述第一抽帧策略确定所述帧序列的第一丢帧位置；获取针对所述图像编码的映射关系，基于所述映射关系对当前所处时域层级的待解码的图像帧进行映射，得到映射后的显示顺序；其中，所述映射关系用于表示所述视频序列的显示顺序与解码顺序的转换关系；响应所述映射后的显示顺序中所述第一丢帧位置不满足预设顺序，采用所述第二抽帧策略确定各个帧序列的第二丢帧位置，将所述第二丢帧位置作为所述视频序列的丢帧位置。7.根据权利要求6所述的方法，其特征在于，还包括：在确定第一丢帧位置之后，响应所述映射后的显示顺序中所述第一丢帧位置满足预设顺序，采用所述第一丢帧位置作为所述视频序列的丢帧位置。8.根据权利要求6所述的方法，其特征在于，所述各个时域层级包括从高层级到低层级
排序的多个时域层级；所述按照各个时域层级，基于所述第一抽帧策略确定所述帧序列的第一丢帧位置，包括：获取处于各个时域层级的各个图像帧；基于所述第一抽帧策略将高层级的时域层级的各个图像帧作为第一目标帧，并将所述第一目标帧在所述帧序列中所处的位置确定为第一丢帧位置；若所确定的第一目标帧不满足预设丢帧率，则按照从高层级到低层级的顺序，将各个时域层级的各个图像帧不断作为第一目标帧，并将所述第一目标帧在所述帧序列中所处的位置确定为第一丢帧位置，直至所确定的第一目标帧满足预设丢帧率为止；其中，所述预设丢帧率基于期望解码帧率确定，所述期望解码帧率满足期望播放速度。9.根据权利要求6所述的方法，其特征在于，所述采用所述第二抽帧策略确定各个帧序列的第二丢帧位置，包括：基于所述第二抽帧策略，按照编码图像携带的非参考帧标志，确定各个帧序列的第二丢帧位置。10.根据权利要求9所述的方法，其特征在于，所述按照编码图像携带的非参考帧标志，确定各个帧序列的第二丢帧位置，包...

【专利技术属性】
技术研发人员：陈建华，叶琰，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：