【技术实现步骤摘要】
本申请涉及音视频处理，尤其涉及一种网络视频会议数据处理方法、设备及存储介质。
技术介绍
1、在网络视频会议系统中，音频与视频的同步是保障用户体验的核心要素。音频和视频数据通常通过独立的采集设备获取，并以不同的帧率和采样率传输至中央处理系统进行实时处理。
2、然而，由于采集设备的物理特性、网络传输的不确定性以及解码过程中的时序偏差，音频与视频帧之间的时间戳往往存在差异，可能导致音画不同步的问题。
技术实现思路
1、本申请实施例的目的在于提出一种网络视频会议数据处理方法、设备及存储介质，以解决在网络视频会议中，音视频不同步或同步准确性低的技术问题。
2、为了解决上述技术问题，本申请实施例提供一种网络视频会议数据处理方法，采用了如下所述的技术方案：
3、一种网络视频会议数据处理方法，包括下述步骤：
4、获取音频数据流和视频数据流；
5、检测所述音频数据流和所述视频数据流的帧时间和缓冲队列长度；
6、根据检测结果和预设的同步策略选择音频数据流或视频数据流作为基准源；
7、计算所述音频数据流和视频数据流之间的时间差距，并判断所述时间差距是否超过预设的第一阈值；
8、若时间差距超过第一阈值，则强制同步ops电脑、音频dsp以及视频dsp的时钟；
9、若时间差距未超过第一阈值，进一步判断是否时间差距是否超过第二阈值，
10、若时间差距超过所述第二阈值，则根据所述时间差距进行丢帧
11、若时间差距未超过第二阈值，则输出当前音频数据流和视频数据流。
12、在一种可能的实施方式中，所述根据检测结果和预设的同步策略选择音频数据流或视频数据流作为基准源的步骤，具体包括：
13、计算音频数据流和视频数据流的帧时间的时间戳差异；
14、对比音频数据流和视频数据流的队列长度差异；
15、根据所述时间戳差异和所述队列长度差异形成稳定性评分标准；
16、根据所述稳定性评分标准选择基准源。
17、在一种可能的实施方式中于，所述根据所述时间戳差异和所述队列长度差异形成稳定性评分标准的步骤，具体包括：
18、对所述时间戳差异和所述队列长度差异进行归一化处理；
19、根据所述时间戳差异和所述队列长度差异的影响程度进行分配权重；
20、计算稳定性评分。
21、在一种可能的实施方式中，所述若时间差距超过第一阈值，则强制同步ops电脑、音频dsp以及视频dsp的时钟的步骤，具体包括：
22、获取ops电脑的当前时间；
23、将所述ops电脑的当前时间分别发送给音频dsp和视频dsp；
24、更新所述音频dsp和视频dsp的时钟；
25、验证音频dsp和视频dsp的时钟是否与ops电脑一致。
26、在一种可能的实施方式中，所述若时间差距超过所述第二阈值，则根据所述时间差距进行丢帧或重显示处理的步骤中：
27、若音频数据流快于所述视频数据流，则进行丢帧处理；
28、若音频数据流慢于所述视频数据流，则进行重显示处理。
29、在一种可能的实施方式中，所述获取音频数据流和视频数据流的步骤之前，还包括：
30、初始化音频dsp、视频dsp和ops电脑，设置音频采样率、视频帧率，并建立dsp与ops之间的通信通道。
31、在一种可能的实施方式中，所述获取音频数据流和视频数据流的步骤之后，还包括：
32、对所述音频数据流执行回声消除、噪声抑制及混音矩阵处理；
33、对所述视频数据流进行解码、添加时间戳、画面增强和矩阵拼接。
34、为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
35、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的网络视频会议数据处理方法的步骤。
36、为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
37、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的网络视频会议数据处理方法的步骤。
38、与现有技术相比，本申请实施例主要有以下有益效果：
39、本申请公开的网络视频会议数据处理方法，通过获取音频数据流和视频数据流；检测所述音频数据流和所述视频数据流的帧时间和缓冲队列长度；根据检测结果和预设的同步策略选择音频数据流或视频数据流作为基准源；计算所述音频数据流和视频数据流之间的时间差距，并判断所述时间差距是否超过预设的第一阈值；若时间差距超过第一阈值，则强制同步ops电脑、音频dsp以及视频dsp的时钟；若时间差距未超过第一阈值，进一步判断是否时间差距是否超过第二阈值，若时间差距超过所述第二阈值，则根据所述时间差距进行丢帧或重显示处理；若时间差距未超过第二阈值，则输出当前音频数据流和视频数据流。本申请通过检测音频和视频数据流的时间戳差异与队列长度差异，结合预设的同步策略来选择基准源并计算时间差距，这使得系统能够高效判断是否需要进行时钟同步或丢帧/重显示处理，从而确保音视频流的同步性。
本文档来自技高网...【技术保护点】
1.一种网络视频会议数据处理方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述根据检测结果和预设的同步策略选择音频数据流或视频数据流作为基准源的步骤，具体包括：
3.根据权利要求2所述的网络视频会议数据处理方法，其特征在于，所述根据所述时间戳差异和所述队列长度差异形成稳定性评分标准的步骤，具体包括：
4.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述若时间差距超过第一阈值，则强制同步OPS电脑、音频DSP以及视频DSP的时钟的步骤，具体包括：
5.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述若时间差距超过所述第二阈值，则根据所述时间差距进行丢帧或重显示处理的步骤中：
6.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述获取音频数据流和视频数据流的步骤之前，还包括：
7.根据权利要求6所述的网络视频会议数据处理方法，其特征在于，所述获取音频数据流和视频数据流的步骤之后，还包括：
8.一种计算机设备，其特
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的网络视频会议数据处理方法的步骤。
...【技术特征摘要】
1.一种网络视频会议数据处理方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述根据检测结果和预设的同步策略选择音频数据流或视频数据流作为基准源的步骤，具体包括：
3.根据权利要求2所述的网络视频会议数据处理方法，其特征在于，所述根据所述时间戳差异和所述队列长度差异形成稳定性评分标准的步骤，具体包括：
4.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述若时间差距超过第一阈值，则强制同步ops电脑、音频dsp以及视频dsp的时钟的步骤，具体包括：
5.根据权利要求1所述的网络视频会议数据处理方法，其特征在于，所述若时间差距超过所述第二阈值，则根据所述时间差距进行...
【专利技术属性】
技术研发人员：季海交，黄泽立，刘彬，韩攀强，卢宇，黄菊芳，姜万营，
申请(专利权)人：深圳市东微智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。