本发明专利技术涉及自适应音视频RTP时间戳的同步方法和装置。自适应音视频RTP时间戳的同步方法包括：发送端向接收端发送音视频业务的视频包和音频包；当接收端接收到第一个视频包的RTP包和第一个音频包的RTP包时，将本地时间戳分别作为第一个视频包的绝对时间戳和第一个音频包的绝对时间戳，从而利用绝对时间进行视频包和音频包的同步控制；当接收端接收到第一个视频包的NTP包和第一个音频包的NTP包时，根据第n个视频包的本地时间戳和第n个音频包的本地时间戳与第n个视频包的NTP绝对时间戳和第n个音频包的NTP绝对时间戳之间的偏差值，在之后的本地播放中对所述偏差值进行平滑的偏差补偿处理。差补偿处理。差补偿处理。
【技术实现步骤摘要】
自适应音视频RTP时间戳的同步方法和装置
[0001]本专利技术涉及计算机音视频
，更具体地讲，是对RTP(Real
‑
time Transport Protocol)/RTCP(Real
‑
time Transport Control Protocol)音视频数据包的时间戳进行同步的方法。
技术介绍
[0002]音视频同步控制是实时音视频尤其是视频会议领域的关键技术点，音视频同步与否对于通话用户的体验影响重大。实时音视频通常使用RTP/RTCP协议传输媒体数据，音频和视频的数据包分开传输，在网络传输过程中会因为延迟导致接收到的数据不同步，所以需要在接收端对接收到数据进行缓存、排序、同步和渲染。
[0003]音视频数据包中存在两个时间戳，一个是在RTP数据包中的相对时间戳，另一个是在RTCP数据包中的NTP绝对时间戳。其中，相对时间戳存在于每个数据包中，而绝对时间戳通常每隔几秒发送一个，甚至可以没有绝对时间戳。
[0004]现有的时间戳同步方法有三种：第一种方法是使用相对时间戳作为同步控制；这种方法的优点是简单容易实现；缺点是依赖发送端生成音频和视频的相对时间戳必须从固定的值开始，且在通话过程中加入会议的接收端无法做到同步，当然也可以在服务器端对新加入的接收端的时间戳进行转换，使得从一个固定值开始。第二种方法是使用绝对时间戳作为同步控制；这种方法的优点是能做到绝对同步；缺点是依赖发送端必须发送绝对时间戳，在收到绝对时间戳的初始阶段，无法做到渲染播放并达到秒开的效果，这影响了用户体验。第三种方法是使用接收到数据包时的本地时间戳作为同步控制；这种方法的优点是实现简单；缺点是对网络延迟和抖动过于敏感，当网络抖动加大时，会引入累积延迟和时钟漂移，造成严重的不同步。
[0005]因此，亟需一种能够自适应地进行音视频同步的方法和装置。
[0006]上述对
技术介绍
的陈述仅是为了方便对本专利技术技术方案(使用的技术手段、解决的技术问题以及产生的技术效果等方面)的深入理解，而不应当被视为承认或以任何形式暗示该消息构成已为本领域技术人员所公知的现有技术。
技术实现思路
[0007]针对现有技术中存在的缺陷，本专利技术提出了一种自适应算法，结合NTP绝对时间戳、RTP相对时间戳、本地时间戳，对三种时间戳的控制做平滑过度，规避各自的缺点，增强用户体验，从而能够达到良好同步的效果。
[0008]根据本专利技术的实施方案，提供了一种自适应音视频RTP时间戳的同步方法，所述同步方法包括：发送端向接收端发送音视频业务的视频包和音频包，视频包和音频包分别包括RTP包和NTP包；当接收端接收到第一个视频包的RTP包和第一个音频包的RTP包时，将接收到第一个视频包的RTP相对时间戳RV(1)和第一个音频包的RTP相对时间戳RA(1)时的本地时间戳LV(1)和LA(1)分别作为第一个视频包的绝对时间戳和第一个音频包的绝对时间
戳，从而利用绝对时间进行视频包和音频包的同步控制；当接收端接收到第一个视频包的NTP包和第一个音频包的NTP包时，根据计算出的接收到的第n个视频包的本地时间戳LV(n)和第n个音频包的本地时间戳LA(n)与计算出的接收到的第n个视频包的NTP绝对时间戳AV(n)和第n个音频包的NTP绝对时间戳AA(n)之间的偏差值，在之后的本地播放中对所述偏差值进行平滑的偏差补偿处理，从而利用偏差补偿的绝对时间进行视频包和音频包的同步控制，其中，n为大于1的整数。
[0009]优选地，当接收到第一个视频包的NTP包和第一个音频包的NTP包时，通过如下的等式来计算第一个视频包的NTP绝对时间戳AV(1)和第一个音频包的NTP绝对时间戳AA(1)：
[0010]AA(1)＝AA(ntp)+[RA(ntp)
‑
RA(1)]/音频采样率
[0011]AV(1)＝AV(ntp)+[RV(ntp)
‑
RV(1)]/视频采样率
[0012]其中，视频包的NTP包中包括视频包的绝对时间戳AV(ntp)和相对时间戳RV(ntp)，以及音频包的NTP包中包括视频包的绝对时间戳AA(ntp)和相对时间戳RA(ntp)。
[0013]优选地，通过如下的等式来计算接收到的第n个视频包的NTP绝对时间戳AV(n)和第n个音频包的NTP绝对时间戳AA(n)：
[0014]AV(n)＝AV(1)+[RV(n)
‑
RV(1)]/视频采样率
[0015]AA(n)＝AA(1)+[RA(n)
‑
RA(1)]/音频采样率。
[0016]优选地，当接收到第一个视频包的NTP包和第一个音频包的NTP包时，通过如下的等式来计算接收到的第n个视频包的本地时间戳LV(n)和接收到的第n个音频包的本地时间戳LA(n)：
[0017]LV(n)＝LV(1)+[RV(n)
‑
RV(1)]/视频采样率
[0018]LA(n)＝LA(1)+[RA(n)
‑
RA(1)]/音频采样率。
[0019]优选地，通过如下的等式来计算音频包和视频包之间存在的偏差值deviation：
[0020]deviation＝AA(n)
‑
AV(n)
‑
[LA(n)
‑
LV(n)][0021]其中，如果所述偏差值deviation为0ms，则表示网络传输中没有波动；如果所述偏差值deviation不为0ms，则表示网络传输中有波动。
[0022]优选地，在对音频包和视频包之间存在的偏差之进行补偿时，以音频包为基准对视频包的本地时间戳以L为平滑步幅逐步地进行补偿，其中，每次补偿的时间为deviation/L，剩余的视频包补偿偏差为deviation
‑
deviation/L，L为大于1的整数；当剩余的视频包补偿偏差为0时，不再对视频包的本地时间戳进行补偿。
[0023]优选地，在对音频包和视频包之间存在的偏差值进行补偿时，通过如下的等式来计算估算的视频包的本地时间戳LV(estimate_n)：
[0024]LV(estimate_n)＝LV(n)+deviation/L
[0025]当接收端再次接收到第n+1个视频包的相对时间戳RV(n+1)时，可以通过如下的等式来计算接收到第n+1个视频包的相对时间戳RV(n+1)时的第n+1个视频包的本地时间戳LV(n+1)：
[0026]LV(n+1)＝LV(estimate_n)+(RV(n+1)
‑
RV(n))/视频采样率。
[0027]优选地，在计算剩余的视频包补偿偏差时，对剩余的视频包补偿偏差进行取整计算。
[0028]根据本专利技术的实施方案，提供了一种计算机可读存储介质，其上存储有计算机程
序，当所述计算机程序被处理器执行时实现根据本专利技术的实施方案的方法。
[0029本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自适应音视频RTP时间戳的同步方法，其特征在于，所述同步方法包括：发送端向接收端发送音视频业务的视频包和音频包，视频包和音频包分别包括RTP包和NTP包；当接收端接收到第一个视频包的RTP包和第一个音频包的RTP包时，将接收到第一个视频包的RTP相对时间戳RV(1)和第一个音频包的RTP相对时间戳RA(1)时的本地时间戳LV(1)和LA(1)分别作为第一个视频包的绝对时间戳和第一个音频包的绝对时间戳，从而利用绝对时间进行视频包和音频包的同步控制；当接收端接收到第一个视频包的NTP包和第一个音频包的NTP包时，根据计算出的接收到的第n个视频包的本地时间戳LV(n)和第n个音频包的本地时间戳LA(n)与计算出的接收到的第n个视频包的NTP绝对时间戳AV(n)和第n个音频包的NTP绝对时间戳AA(n)之间的偏差值，在之后的本地播放中对所述偏差值进行平滑的偏差补偿处理，从而利用偏差补偿的绝对时间进行视频包和音频包的同步控制，其中，n为大于1的整数。2.根据权利要求1所述的自适应音视频RTP时间戳的同步方法，其特征在于，当接收到第一个视频包的NTP包和第一个音频包的NTP包时，通过如下的等式来计算第一个视频包的NTP绝对时间戳AV(1)和第一个音频包的NTP绝对时间戳AA(1)：AA(1)＝AA(ntp)+[RA(ntp)
‑
RA(1)]/音频采样率AV(1)＝AV(ntp)+[RV(ntp)
‑
RV(1)]/视频采样率其中，视频包的NTP包中包括视频包的绝对时间戳AV(ntp)和相对时间戳RV(ntp)，以及音频包的NTP包中包括视频包的绝对时间戳AA(ntp)和相对时间戳RA(ntp)。3.根据权利要求2所述的自适应音视频RTP时间戳的同步方法，其特征在于，通过如下的等式来计算接收到的第n个视频包的NTP绝对时间戳AV(n)和第n个音频包的NTP绝对时间戳AA(n)：AV(n)＝AV(1)+[RV(n)
‑
RV(1)]/视频采样率AA(n)＝AA(1)+[RA(n)
‑
RA(1)]/音频采样率。4.根据权利要求3所述的自适应音视频RTP时间戳的同步方法，其特征在于，当接收到第一个视频包的NTP包和第一个音频包的NTP包时，通过如...
【专利技术属性】
技术研发人员：符宁，李嘉豪，杨尚山，
申请(专利权)人：北京易掌云峰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。