System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频处理方法、装置、计算机设备和存储介质制造方法及图纸_技高网

视频处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:43345090 阅读:0 留言:0更新日期:2024-11-15 20:42
本申请涉及一种视频处理方法、装置、计算机设备和存储介质。涉及到网络媒体领域,包括:在对视频进行解码的过程中,待对视频中的可丢弃的图像帧解码时,根据当前丢帧率确定针对可丢弃的图像帧的丢帧策略;在丢帧策略为不丢弃的情况下,将可丢弃的图像帧输入解码器中,得到解码器输出的与可丢弃的图像帧对应的图像解码帧;确定图像解码帧的显示时间与音画同步时钟记录的时间之间的差值,得到图像解码帧对应的同步时差;在同步时差表征解码过程中视频的音画不同步的情况下,更新当前丢帧率,以在待解码视频中后续的可丢弃的图像帧时,根据更新后的当前丢帧率确定后续的可丢弃的图像帧的丢帧策略。采用本方法能够提高视频播放流畅度。

【技术实现步骤摘要】

本申请涉及音视频,特别是涉及一种视频处理方法、装置、计算机设备和存储介质


技术介绍

1、随着计算机技术和互联网的发展,通过视频的应用越来越广泛,视频包括音频和图像。在播放包括视频时,若播放器性能较差,则视频在播放时容易出现卡顿,尤其是在以大于1倍速播放的情况下容易出现卡顿。

2、传统技术中,为了减少视频播放过程中出现卡顿,可以通过减少参与渲染的视频帧的数量,来提升视频播放流畅度。

3、然而,通过减少参与渲染的视频帧的数量,在提升视频播放流畅度上的效果有待提升。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提升视频播放流畅度的视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一方面,本申请提供了一种视频处理方法。所述方法包括:在对视频进行解码的过程中,待对所述视频中的可丢弃的图像帧解码时,根据当前丢帧率确定针对所述可丢弃的图像帧的丢帧策略;所述丢帧策略用于指示在将所述可丢弃的图像帧输入至解码器之前,是否丢弃所述可丢弃的图像帧;在所述丢帧策略为不丢弃的情况下,将所述可丢弃的图像帧输入解码器中,得到所述解码器输出的与所述可丢弃的图像帧对应的图像解码帧;确定所述图像解码帧的显示时间与音画同步时钟记录的时间之间的差值,得到所述图像解码帧对应的同步时差;在所述同步时差表征解码过程中所述视频的音画不同步的情况下,更新所述当前丢帧率,以在待解码所述视频中后续的可丢弃的图像帧时,根据更新后的当前丢帧率确定所述后续的可丢弃的图像帧的丢帧策略。

3、另一方面,本申请还提供了一种视频处理装置。所述装置包括:丢帧策略确定模块,用于在对视频进行解码的过程中,待对所述视频中的可丢弃的图像帧解码时,根据当前丢帧率确定针对所述可丢弃的图像帧的丢帧策略;所述丢帧策略用于指示在将所述可丢弃的图像帧输入至解码器之前,是否丢弃所述可丢弃的图像帧;解码帧得到模块,用于在所述丢帧策略为不丢弃的情况下,将所述可丢弃的图像帧输入解码器中,得到所述解码器输出的与所述可丢弃的图像帧对应的图像解码帧;同步时差得到模块,用于确定所述图像解码帧的显示时间与音画同步时钟记录的时间之间的差值,得到所述图像解码帧对应的同步时差;当前丢帧率更新模块,用于在所述同步时差表征解码过程中所述视频的音画不同步的情况下,更新所述当前丢帧率,以在待解码所述视频中后续的可丢弃的图像帧时,根据更新后的当前丢帧率确定所述后续的可丢弃的图像帧的丢帧策略。

4、在一些实施例中,所述装置还用于:待对所述视频中的不可丢弃的图像帧解码时,将所述不可丢弃的图像帧输入所述解码器中,得到所述解码器输出的与所述不可丢弃的图像帧对应的图像解码帧;所述当前丢帧率更新模块,还用于根据所述解码器连续输出的多个图像解码帧各自对应的同步时差,确定解码过程中所述视频的音画同步情况;若所述音画同步情况为音画不同步,则更新所述当前丢帧率。

5、在一些实施例中,所述当前丢帧率更新模块,还用于按照从小到大的顺序对所述解码器连续输出的预设数量的图像解码帧各自对应的同步时差进行排列,得到同步时差序列;根据第一预设占比和所述预设数量确定第一参考序号;按照从前到后的顺序,从所述同步时差序列中确定排序为所述第一参考序号的同步时差,得到第一参考时差;在所述第一参考时差小于或等于落后时差阈值的情况下,判定解码过程中所述视频的音画同步情况为画落后于音。

6、在一些实施例中,所述当前丢帧率更新模块,还用于根据第二预设占比和所述预设数量确定第二参考序号;按照从后到前的顺序,从所述同步时差序列中确定排序为所述第二参考序号的同步时差,得到第二参考时差;在所述第二参考时差大于或等于超前时差阈值的情况下,判定解码过程中所述视频的音画同步情况为画超前于音。

7、在一些实施例中,所述当前丢帧率更新模块,还用于在所述视频的音画同步情况为画落后于音的情况下,增大当前丢帧率;在所述视频的音画同步情况为画超前于音的情况下,减小当前丢帧率。

8、在一些实施例中,所述装置还用于对所述视频中的音频帧进行解码得到音频解码帧,将所述音频解码帧输入音画同步模块;所述装置还包括用于更新所述音画同步时钟记录的时间的时钟更新模块,所述时钟更新模块,用于确定前后两次向所述音画同步模块输入解码帧时的系统时间之间的差值,得到系统时差;其中,前后两次向所述音画同步模块输入的解码帧,各自分别为音频解码帧或图像解码帧;基于所述系统时差更新所述音画同步时钟记录的时间。

9、在一些实施例中,所述时钟更新模块,还用于若前后两次向所述音画同步模块输入的解码帧中在后输入的解码帧为图像解码帧,则在所述音画同步时钟记录的时间的基础上增加所述系统时差。

10、在一些实施例中,所述时钟更新模块,还用于若前后两次向所述音画同步模块输入的解码帧中在后输入的解码帧为音频解码帧,则确定所述音画同步时钟记录的时间与所述系统时差的和得到候选时钟时间;基于所述在后输入的解码帧的显示时间和所述候选时钟时间,更新所述音画同步时钟记录的时间。

11、在一些实施例中,所述时钟更新模块,还用于在所述音频解码帧的显示时间与所述候选时钟时间之间的差值大于或等于预设时差阈值的情况下,将所述音画同步时钟记录的时间更新为所述在后输入的解码帧的显示时间;在所述音频解码帧的显示时间与所述候选时钟时间之间的差值小于所述预设时差阈值的情况下,将所述音画同步时钟记录的时间更新为所述候选时钟时间。

12、在一些实施例中,所述当前丢帧率更新模块,还用于响应于将当前播放倍速从第一播放倍速切换至第二播放倍速的播放倍速切换事件;从关系映射表中查找与所述第二播放倍速具有映射关系的丢帧率;所述关系映射表用于存储丢帧率与播放倍速之间的映射关系;在查找到的情况下,将当前丢帧率更新为查找到的丢帧率;在未查找到的情况下,将所述第一播放倍速与所述第二播放倍速进行对比,基于对比结果更新当前丢帧率。

13、在一些实施例中,所述当前丢帧率更新模块,还用于若所述对比结果为所述第一播放倍速小于所述第二播放倍速,则基于最大丢帧率增大当前丢帧率;若所述对比结果为所述第一播放倍速大于所述第二播放倍速,则基于最小丢帧率减小当前丢帧率。

14、在一些实施例中,丢帧策略确定模块,还用于根据所述可丢弃的图像帧的帧序号和当前丢帧率,从预设的丢帧映射表中查找丢帧策略表征信息;所述丢帧映射表中的元素为丢帧策略表征信息;将查找到的丢帧策略表征信息所代表的丢帧策略,确定为针对所述可丢弃的图像帧的丢帧策略。

15、另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述视频处理方法中的步骤。

16、另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述视频处理方法中的步骤。

17、另一方面,本申请还提供了一种本文档来自技高网...

【技术保护点】

1.一种视频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述解码器连续输出的多个图像解码帧各自对应的同步时差,确定解码过程中所述视频的音画同步情况包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述若所述音画同步情况为音画不同步,则更新所述当前丢帧率包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述系统时差更新所述音画同步时钟记录的时间包括:

8.根据权利要求6所述的方法,其特征在于,所述基于所述系统时差更新所述音画同步时钟记录的时间包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述在后输入的解码帧的显示时间和所述候选时钟时间,更新所述音画同步时钟记录的时间包括:

10.根据权利要求1所述的方法,其特征在于,所述方法还包括:p>

11.根据权利要求10所述的方法,其特征在于,所述基于对比结果更新当前丢帧率包括:

12.根据权利要求1至11任意一项所述的方法,其特征在于,所述根据当前丢帧率确定针对所述可丢弃的图像帧的丢帧策略包括:

13.一种视频处理装置,其特征在于,所述装置包括:

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种视频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述解码器连续输出的多个图像解码帧各自对应的同步时差,确定解码过程中所述视频的音画同步情况包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述若所述音画同步情况为音画不同步,则更新所述当前丢帧率包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述系统时差更新所述音画同步时钟记录的时间包括:

8.根据权利要求6所述的方法,其特征在于,所述基于所述系统时差更新所述音画同步时钟记录的时间包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述在后输入的解码帧的显示时间和所述候选时钟...

【专利技术属性】
技术研发人员:梁剑
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1