音视频同步方法、装置、服务器和计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种音视频同步方法、装置、服务器和计算机可读存储介质，涉及多屏数据处理技术领域，包括将多个发送端的音频源数据和视频源数据分别缓存在每个发送端对应的音频缓冲区和视频缓冲区；周期性的从每个音频缓冲区获取多个发送端的第一指定时长的音频源数据进行混合，得到音频混合数据；确定音频混合数据中每个音频源数据的音频初始时间戳；基于每个音频源数据的音频初始时间戳判断视频混合数据中是否存在与同一发送端发送的音频源数据不同步的视频源数据；如果是，调节与视频源数据不同步的音频源数据的时延，以使音频混合数据与视频混合数据同步。本发明专利技术可以保证在多人连麦的情况下音视频数据保持同步，提升了用户体验。

Audio and video synchronization methods, devices, servers and computer-readable storage media

【技术实现步骤摘要】
音视频同步方法、装置、服务器和计算机可读存储介质
本专利技术涉及多屏数据处理
，尤其是涉及一种音视频同步方法、装置、服务器和计算机可读存储介质。
技术介绍
目前，多屏业务在工作、社交、娱乐等方面均具有越来越多的应用，但当网络不稳定时会导致网络丢包率较高，传输控制协议(TransmissionControlProtocol，TCP)的传输质量严重下降，重传拥塞导致音视频延时非常大，在无线信道下，易出现音视频长时间卡住不动然后快放的现象，效率低，占用系统资源高。诸如，在当前的直播多人连麦情况下，由于用户数据报文协议(UserDatagramProtocol，UDP)不能对所传数据提供担保，导致出现音视频数据不同步的现象。针对上述由于音视频时延大导致音视频数据不同步的现象，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的目的在于提供一种音视频同步方法、装置、服务器和计算机可读存储介质，可以保证在多人连麦的情况下音视频数据保持同步，提升了用户体验。第一方面，实施例提供一种音视频同步方法，所述方法包括：接收多个发送端的音频源数据和视频源数据，并分别缓存在每个所述发送端对应的音频缓冲区和视频缓冲区；周期性的从每个所述音频缓冲区获取多个所述发送端的第一指定时长的所述音频源数据并进行混合，得到音频混合数据；确定所述音频混合数据中每个所述音频源数据的音频初始时间戳；基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据；其中，所述视频混合数据为周期性的从每个所述视频缓冲区获取所述多个发送端的第二指定时长的所述视频源数据并进行混合得到的；如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步。在可选的实施方式中，所述方法还包括：将同步的所述音频混合数据与视频混合数据进行合并，得到目标混合数据；所述目标混合数据包括目标时间戳；将所述目标混合数据推送至内容分发网络CDN。在可选的实施方式中，所述确定所述音频混合数据中每个所述音频源数据的音频初始时间戳的步骤，包括：基于当前输入每个所述音频缓冲区的所述音频源数据的当前时间戳和所述音频缓冲区的长度确定所述音频混合数据的每个所述音频源数据的音频初始时间戳。在可选的实施方式中，所述视频源数据包括指定数量的帧图像；所述方法还包括：将多个所述视频源数据的当前帧图像进行合并，得到合并帧图像；基于所述第二指定时长的所述合并帧图像确定所述视频混合数据。在可选的实施方式中，每个所述视频源数据包括视频初始时间戳；基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据的步骤，包括：基于每个所述音频源数据的所述音频初始时间戳和每个所述视频源数据的所述视频初始时间戳判断所视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据。在可选的实施方式中，所述如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步的步骤，包括：如果所述音频源数据快于所述视频源数据，则基于所述视频初始时间戳和所述音频时间戳确定第一时延；所述视频源数据将所述第一时延反馈到所述音频源数据，所述音频源数据基于所述第一时延调节所述音频源数据，以使所述音频混合数据与视频混合数据同步。在可选的实施方式中，所述如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步的步骤，还包括：如果所述音频源数据慢于所述视频源数据，则基于所述视频初始时间戳和所述音频时间戳确定第二时延；所述视频源数据将所述第二时延反馈到所述音频源数据，所述音频源数据基于所述第二时延调节所述音频源数据，以使所述音频混合数据与视频混合数据同步。第二方面，实施例提供一种音视频同步装置，所述装置包括：数据接收模块，用于接收多个发送端的音频源数据和视频源数据，并分别缓存在每个所述发送端对应的音频缓冲区和视频缓冲区；音频混合模块，用于周期性的从每个所述音频缓冲区获取多个所述发送端的第一指定时长的所述音频源数据并进行混合，得到音频混合数据；确定模块，用于确定所述音频混合数据中每个所述音频源数据的音频初始时间戳；判断模块，用于基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据；其中，所述视频混合数据为周期性的从每个所述视频缓冲区获取所述多个发送端的第二指定时长的所述视频源数据并进行混合得到的；同步模块，用于如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步。第三方面，实施例提供一种服务器，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如前述实施方式任一项音视频同步方法。第四方面，实施例提供一种计算机可读存储介质，用于储存如前述实施方式任一项音视频同步方法所用的计算机软件指令。本专利技术提供的音视频同步方法、装置、服务器和计算机可读存储介质，将接收到的多个发送端的音频源数据和视频源数据分别缓存在每个发送端对应的音频缓冲区和视频缓冲区，并周期性的从每个音频缓冲区获取多个发送端的第一指定时长的音频源数据并进行混合，得到音频混合数据，通过确定音频混合数据中每个音频源数据的音频初始时间戳，判断视频混合数据中是否存在与同一发送端发送的音频源数据不同步的视频源数据，其中，视频混合数据为周期性的从每个视频缓冲区获取多个发送端的第二指定时长的视频源数据并进行混合得到的，如果存在与音频源数据不同步的视频源数据，则调节与视频源数据不同步的音频源数据的时延，以使音频混合数据与视频混合数据同步。通过判断视频源数据和音频源数据是否同步，并在不同步时调节音频源数据的时延，可以使音频混合数据与视频混合数据保持同步。因此本专利技术实施例可以保证在多人连麦的情况下音视频数据同步，提升了用户体验。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种音视频同步方法的流程示意图；图2为本专利技术实施例提供的一种音频源数据混合的示意图；图3为本专利技术实施例提供的一种视频源数据混合的示意图；图4为本专利技术实施例提供的一种音视频同步装置的结构示意图；图5为本专利技术实施例提供的一种服务器的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此本文档来自技高网...

【技术保护点】
1.一种音视频同步方法，其特征在于，所述方法包括：/n接收多个发送端的音频源数据和视频源数据，并分别缓存在每个所述发送端对应的音频缓冲区和视频缓冲区；/n周期性的从每个所述音频缓冲区获取多个所述发送端的第一指定时长的所述音频源数据并进行混合，得到音频混合数据；/n确定所述音频混合数据中每个所述音频源数据的音频初始时间戳；/n基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据；其中，所述视频混合数据为周期性的从每个所述视频缓冲区获取所述多个发送端的第二指定时长的所述视频源数据并进行混合得到的；/n如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步。/n

【技术特征摘要】
1.一种音视频同步方法，其特征在于，所述方法包括：
接收多个发送端的音频源数据和视频源数据，并分别缓存在每个所述发送端对应的音频缓冲区和视频缓冲区；
周期性的从每个所述音频缓冲区获取多个所述发送端的第一指定时长的所述音频源数据并进行混合，得到音频混合数据；
确定所述音频混合数据中每个所述音频源数据的音频初始时间戳；
基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据；其中，所述视频混合数据为周期性的从每个所述视频缓冲区获取所述多个发送端的第二指定时长的所述视频源数据并进行混合得到的；
如果是，调节与所述视频源数据不同步的所述音频源数据的时延，以使所述音频混合数据与视频混合数据同步。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将同步的所述音频混合数据与视频混合数据进行合并，得到目标混合数据；所述目标混合数据包括目标时间戳；
将所述目标混合数据推送至内容分发网络CDN。


3.根据权利要求1所述的方法，其特征在于，所述确定所述音频混合数据中每个所述音频源数据的音频初始时间戳的步骤，包括：
基于当前输入每个所述音频缓冲区的所述音频源数据的当前时间戳和所述音频缓冲区的长度确定所述音频混合数据的每个所述音频源数据的音频初始时间戳。


4.根据权利要求1所述的方法，其特征在于，所述视频源数据包括指定数量的帧图像；所述方法还包括：
将多个所述视频源数据的当前帧图像进行合并，得到合并帧图像；
基于所述第二指定时长的所述合并帧图像确定所述视频混合数据。


5.根据权利要求1所述的方法，其特征在于，每个所述视频源数据包括视频初始时间戳；基于每个所述音频源数据的所述音频初始时间戳判断视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据的步骤，包括：
基于每个所述音频源数据的所述音频初始时间戳和每个所述视频源数据的所述视频初始时间戳判断所视频混合数据中是否存在与同一所述发送端发送的所述音频源数据不同步的所述视频源数据。


6.根据权利要...

【专利技术属性】
技术研发人员：郭志鸣，梁学群，
申请(专利权)人：北京三体云时代科技有限公司，
类型：发明
国别省市：北京;11