System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 虚拟音视频缓存动态调整方法、装置及存储介质制造方法及图纸_技高网

虚拟音视频缓存动态调整方法、装置及存储介质制造方法及图纸

技术编号:42823928 阅读:10 留言:0更新日期:2024-09-24 21:00
本申请涉及信息传输技术领域,公开了一种虚拟音视频缓存动态调整方法、装置及存储介质,所述虚拟音视频缓存动态调整方法包括获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时;基于当前视频帧缓存数量和预设帧率确定当前视频帧延时;在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时。通过上述方式,本申请通过标准视频帧延时确定标准音频帧延时,在确定了标准音频帧延时的情况下,根据当前视频帧延时与标准视频帧延时的误差,以标准音频帧延时为基准,实时调整当前视频帧缓存数量,提高了虚拟音视频的一致性。

【技术实现步骤摘要】

本申请涉及信息传输,尤其涉及一种虚拟音视频缓存动态调整方法、装置及存储介质


技术介绍

1、webcam(网络摄像头)的视频和音频来自不同的单元,实时视频来自于相机镜头,而实时音频来自于pc音频。实时视频在相机镜头获取后,经过缓冲,编码,传输后,经过usb接口提供pc解码器,pc解码器解码后加入视频缓冲队列,最后输出到虚拟摄像头视频驱动,由虚拟摄像头提供给第三方应用(如视频会议)使用。实时音频则来自于pc的麦克风采集,麦克风声音采集后即加入到音频buffer(缓存)中,然后提供给虚拟声卡驱动,通过虚拟声卡提供给第三方应用(如视频会议)使用。在实际应用中,音-视同步的一致性越高,越有利于说话人视频的应用性,有助于改善服务质量,提高用户满意度。

2、pc时钟与相机时钟不一致,因此需采用引入一定的buffer,并定期进行同步,通过同步算法进行音视频同步。此外,由于人耳对声音敏感度远远大于视频的敏感度。音频输出需要稳定输出,不能有明显的波动,否则声音听起来就会怪异。因此,在确定音频buffer之后,再对视频帧进行处理,从而提高音-视同步的一致性。因此,如何提高虚拟音视频的一致性成为了目前亟待解决的技术问题。


技术实现思路

1、本申请提供了一种虚拟音视频缓存动态调整方法、装置及存储介质,以提高虚拟音视频的一致性。

2、第一方面,本申请提供了一种虚拟音视频缓存动态调整方法,所述方法包括:

3、获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时;

4、基于当前视频帧缓存数量和预设帧率确定当前视频帧延时;

5、在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时。

6、进一步地,在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时,包括:

7、基于所述标准音频帧延时,确定对应的标准视频帧缓存数量;

8、根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内。

9、进一步地,根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内,包括:

10、在所述当前视频帧延时大于所述延时最大值的情况下,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理,以使调整后的当前视频帧延时在所述误差范围内。

11、进一步地,在所述当前视频帧延时大于所述延时最大值的情况下,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理,以使调整后的当前视频帧延时在所述误差范围内,包括:

12、计算所述当前视频帧缓存数量与所述标准视频帧缓存数量的差值;

13、计算所述当前视频帧缓存数量与所述差值的比值;

14、基于所述比值,确定所述当前视频帧缓存数量中的目标帧,并从所述当前视频帧缓存数量中删除所述目标帧。

15、进一步地,根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内,包括:

16、在所述当前视频帧延时小于所述延时最小值的情况下,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行插帧调整,以使调整后的当前视频帧延时在所述误差范围内。

17、进一步地,获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时之前,包括:

18、在所述视频画面中确定标定视频帧集合,基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量,确定所述标准视频帧延时。

19、进一步地,在所述视频画面中确定标定视频帧集合,基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量,确定所述标准视频帧延时,包括:

20、将所述视频画面的前预设数量的各标定视频帧确定为所述标定视频帧集合;

21、获取各所述标定视频帧的标定视频帧帧率,并基于所述标定视频帧帧率,确定各所述标定视频帧的原始缓存数量;

22、基于各所述原始缓存数量,确定各标定视频帧的原始单帧延时,并根据各所述原始单帧延时确定所述标准视频帧延时。

23、进一步地,基于各所述原始缓存数量,确定各标定视频帧的原始单帧延时,并根据各所述原始单帧延时确定所述标准视频帧延时,包括:

24、计算各所述原始单帧延时的总和;

25、将各所述原始单帧延时的总和与所述预设数量相除,得到单帧延时平均值,并将所述单帧延时平均值确定为所述标准视频帧延时。

26、第二方面,本申请还提供了一种虚拟音视频缓存动态调整装置,所述装置包括:

27、标准音频帧延时确定模块,用于获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时;

28、当前视频帧延时确定模块,用于基于当前视频帧缓存数量和预设帧率确定当前视频帧延时;

29、视频帧调整模块,用于在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时。

30、第三方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的虚拟音视频缓存动态调整方法。

31、本申请公开了一种虚拟音视频缓存动态调整方法、装置及存储介质,所述虚拟音视频缓存动态调整方法包括获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时;基于当前视频帧缓存数量和预设帧率确定当前视频帧延时;在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时。通过上述方式,本申请通过标准视频帧延时确定标准音频帧延时,在确定了标准音频帧延时的情况下,根据当前视频帧延时与标准视频帧延时的误差,以标准音频帧延时为基准,实时调整当前视频帧缓存数量,提高了虚拟音视频的一致性。

本文档来自技高网...

【技术保护点】

1.一种虚拟音视频缓存动态调整方法,其特征在于,包括:

2.根据权利要求1所述的虚拟音视频缓存动态调整方法,其特征在于,所述在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时,包括:

3.根据权利要求2所述的虚拟音视频缓存动态调整方法,其特征在于,所述误差范围包括延时最大值,所述根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内,包括:

4.根据权利要求3所述的虚拟音视频缓存动态调整方法,其特征在于,所述在所述当前视频帧延时大于所述延时最大值的情况下,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理,以使调整后的当前视频帧延时在所述误差范围内,包括:

5.根据权利要求2所述的虚拟音视频缓存动态调整方法,其特征在于,所述误差范围包括延时最小值,所述根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内,包括:

6.根据权利要求1所述的虚拟音视频缓存动态调整方法,其特征在于,所述获取视频画面的标准视频帧延时,根据所述标准视频帧延时确定标准音频帧延时之前,包括:

7.根据权利要求6所述的虚拟音视频缓存动态调整方法,其特征在于,所述在所述视频画面中确定标定视频帧集合,基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量,确定所述标准视频帧延时,包括:

8.根据权利要求7所述的虚拟音视频缓存动态调整方法,其特征在于,所述基于各所述原始缓存数量,确定各标定视频帧的原始单帧延时,并根据各所述原始单帧延时确定所述标准视频帧延时,包括:

9.一种虚拟音视频缓存动态调整装置,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8中任一项所述的虚拟音视频缓存动态调整方法。

...

【技术特征摘要】

1.一种虚拟音视频缓存动态调整方法,其特征在于,包括:

2.根据权利要求1所述的虚拟音视频缓存动态调整方法,其特征在于,所述在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下,基于所述标准音频帧延时调整所述当前视频帧延时,包括:

3.根据权利要求2所述的虚拟音视频缓存动态调整方法,其特征在于,所述误差范围包括延时最大值,所述根据所述当前视频帧延时与所述误差范围的关系,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整,以使所述当前视频帧延时在所述误差范围内,包括:

4.根据权利要求3所述的虚拟音视频缓存动态调整方法,其特征在于,所述在所述当前视频帧延时大于所述延时最大值的情况下,基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理,以使调整后的当前视频帧延时在所述误差范围内,包括:

5.根据权利要求2所述的虚拟音视频缓存动态调整方法,其特征在于,所述误差范围包括延时最小值,所述根据所述当前视频帧延时与所述误差范围的关系,基于所述标...

【专利技术属性】
技术研发人员:马志友
申请(专利权)人:深圳看到科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1