移动高清视频智能双向探测带宽控制系统技术方案

本发明专利技术提出一种移动高清视频智能双向探测带宽控制方法，将目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法相融合，不仅保留目标端帧级时延趋向提取方法的精确性，使得编码码率能充分使用链路可用视频带宽以达到最好的主观效果，同时融合RTP/RTCP速度快的特征，避免针对移动高清视频通信的链路缓存过小导致在探测到拥塞前出现丢包现象，提升移动高清视频的体验，并基于此提出一种视频带宽控制架构，使其针对波动的移动网络具有更好的视频效果，在实际应用中可行性强，是一种简洁高效、实用性强，本发明专利技术作为移动高清视频质量保证的最重要环节，对移动高清视频通信具有极其重要的作用。频通信具有极其重要的作用。频通信具有极其重要的作用。

【技术实现步骤摘要】
移动高清视频智能双向探测带宽控制系统


[0001]本专利技术涉及一种移动视频带宽控制系统，特别涉及一种移动高清视频智能双向探测带宽控制系统，属于移动视频带宽


技术介绍

[0002]近年来，移动互联网产业高速发展，用户数量急速增加，使用强度也大幅上升，越来越多的移动终端助力工作、生活、娱乐，使得经济社会高速发展，人们的生活满意度和获得感不断提升。同时，移动高清视频需求在不断上升，思科发布的全球移动数据流量预测白皮书显示，当前视频流量占全球互联网网络流量消耗的七成以上，所占比例还在不断增加，作为移动高清视频流量的组成部分，视频通话的需求也在不断增加，但由于移动网络环境的复杂性，造成了移动高清视频通话还不能够完全满足人们的日常需求。
[0003]另外，由于信号覆盖、环境复杂、使用人数过多造成带宽竞争和高速移动易造成的带宽变化，造成丢包、时延增加、抖动等一系列问题，这将降低用户使用移动高清视频的可靠性和主观感受，对于常见的MPEG编码视频，3％的丢包率将使得30％的视频帧出现问题，较高的丢包率严重影响视频的主观质量。同时，也可能因为丢包导致目标端接收到的数据包不能完整解码，属于无效数据，浪费了链路带宽，这些问题对视频传输都是极大的考验，而视频高清通话更加需保证视频的质量和流畅性。
[0004]总的来说，由于移动网络信号覆盖、环境复杂、带宽容量的限制，同时存在不可靠性，实际可用视频带宽易变化，故视频通信带宽需自适应调整，以得到更好的带宽利用率和显示效果。现有技术可用视频带宽估算方法存在时延高、精确度和通用型低的问题，因此，基于双向探测来更及时更精确的估算网络即时可用视频带宽，以自适应的选择使用最优的编码参数组合，从而使视频通信的质量最佳化，对促进移动高清视频通信业务的大发展具有十分重要的意义，可以有效应对移动高清视频通信业务面临的低质瓶颈，具有十分重大的利用价值和运用空间。
[0005]源端的带宽探测主要由链路源端收集当前链路状态，包括丢包率、链路时延、可用带宽等，可用带宽测量按是否需要向被测链路注入探测包，分为主动测量和被动测量，其中主动测量方法是通过向被测链路中发送探测包分组对或探测包串，在目标端接收到经过被测链路后的探测包数据流，由于被测链路连通状态发生改变而导致探测包传输速率变化，进而出现丢包率、时延等网络指标变化，现有技术的方法是探测间隔模型PGM和探测速率模型PRM。PGM模型通过探测包对间隔变化估算可用带宽，当探测包发送速率大于链路可用带宽时，接收到的包间隔变大，PGM算法实现较简单，速度快，计算复杂度也较低，但明显存在的问题是，算法需要满足发送速率大于链路可用带宽，并要知道紧凑链路及其带宽大小，PGM模型被测链路容量是已知的，而且需满足被测链路的狭窄链路与瓶颈链路重合，不满足该条件会造成测量结果的偏差；PRM算法的思路是向被测链路中注入大量探测包，不拥塞链路的最大探测包发送速率即为链路可用视频带宽，PRM模型和PGM模型一样，同为主动测量需通过探测包使被测链路拥塞，故测量过程会影响链路现有状态和内部数据流，降低了链
路传输能力，提高了出现不稳定情况的可能性。
[0006]目标端带宽探测和源端一样分为主动和被动算法，类似于源端的PTR，现有技术目标端带宽探测将RTP包重用为探测包，避免探测包影响原有数据，利用数据时延变化趋向探测链路可用视频带宽变化，并反馈编码端进行调整。虽然目标端算法可以充分的使用链路可用视频带宽，但存在探测速度慢的缺点。
[0007]现有技术依然没有解决移动高清视频带宽控制的难题，现有技术的难点和本专利技术解决的问题主要集中在以下方面：
[0008]第一，移动网络环境的复杂性，造成了移动高清视频通话还不能够完全满足人们的日常需求，由于信号覆盖、环境复杂、使用人数过多造成带宽竞争和高速移动易造成的带宽变化，造成丢包、时延增加、抖动等一系列问题，降低用户使用移动高清视频的可靠性和主观感受，同时，因为丢包导致目标端接收到的数据包不能完整解码，属于无效数据，浪费了链路带宽，这些问题对视频传输都是极大的考验，也严重制约视频高清通话视频的质量和流畅性，针对移动高清视频的特殊性，现有技术还没有一种性能优异、智能探测带宽控制的解决方法；
[0009]第二，现有技术可用视频带宽估算方法存在时延高、精确度和通用型低的问题，源端的带宽探测主要由链路源端收集当前链路状态，其中主动测量方法是通过向被测链路中发送探测包分组对或探测包串，在目标端接收到经过被测链路后的探测包数据流，由于被测链路连通状态发生改变而导致探测包传输速率变化，进而出现丢包率、时延等网络指标变化，现有技术的PGM模型通过探测包对间隔变化估算可用带宽，但明显存在的问题是，算法需要满足发送速率大于链路可用带宽，并要知道紧凑链路及其带宽大小，PGM模型被测链路容量是已知的，而且需满足被测链路的狭窄链路与瓶颈链路重合，不满足该条件会造成测量结果的偏差；PRM算法测量过程会影响链路现有状态和内部数据流，降低了链路传输能力，提高了出现不稳定情况的可能性；
[0010]第三，由于高清视频带宽需求和实际移动网络带宽的不平衡及实际无线网络的不可靠性，针对移动高清视频通信的链路可用视频带宽探测面临各种困难：一是低时延需求难以得到满足，当链路可用视频带宽发生变化时，需实时得到探测结果，以供编码源端及时改变编码参数；二是对可用视频带宽估算的精确性不高，精确估算可用视频带宽值能保证在不超过其值的前提下，选择编码参数使主观效果最佳；三是方法的普适性不足，视频编码存在不同标准，缺少普适算法便于对不同的视频编码提供可靠的可用视频带宽探测，无法提供有效而迅速的探测传输链路可用视频带宽，无法解决移动高清视频质量保证的瓶颈，阻碍移动高清视频产业的高速发展；
[0011]第四，现有技术目标端带宽探测将RTP包重用为探测包，避免探测包影响原有数据，利用数据时延变化趋向探测链路可用视频带宽变化，并反馈编码端进行调整。虽然目标端算法可以充分的使用链路可用视频带宽，但存在探测速度慢的缺点；
[0012]第五，现有技术移动高清视频带宽控制的实时性和动态性较差，丢包率和时延较高，无法对链路可用视频带宽最大化的利用，在移动高清视频低链路缓存情况下容易丢包及判断时间长的缺点，无法利用RTP的可扩展性，无法降低RTCP同步速度，无法提高RTCP报文传递链路可用视频带宽数据的速度，不能保证链路可用视频带宽的充分利用，在出现传输速率超过链路可用视频带宽时无法及时探测到并进行调整，不能满足实时性要求；同时
缺少搭建完整的移动高清视频通信框架的切实可行的技术方案，针对波动的移动网络效果较差。

技术实现思路

[0013]针对现有技术的不足，针对现有技术链路可用视频带宽探测方法及移动高清视频通信应用时的缺点和不足，提出针对移动高清视频通信的链路可用视频带宽探测技术面临的各种挑战：对实时性和动态性的要求高，对丢包率和时延的降低，对链路可用视频带宽利用的最大化等，提出针对移动高清视频通信的基于双向链路可用视频带宽探测方法，融合扩展RTP的源端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.移动高清视频智能双向探测带宽控制系统，其特征在于，对目标端做帧级时延趋向探测估算链路可用视频带宽，提出扩展RTP/RTCP驱动的源端快速自适应方法，利用RTP的可扩展性，降低RTCP同步速度，提高RTCP报文传递链路可用视频带宽数据的速度，两者融合保证链路可用视频带宽的充分利用，在出现传输速率超过链路可用视频带宽时及时探测到并进行调整；在本发明提出的可用视频带宽探测并动态调整编码参数方法流程的基础上，提出一个完整的融合目标端帧级时延趋向提取方法和扩展RTP/RTCP驱动的源端快速自适应方法的移动高清视频带宽控制架构，视频带宽控制架构主要包括五个模块：视频编码模块、源端RTCP反馈模块、链路传输模块、目标端帧级时延趋向提取反馈模块和视频解码模块；基于视频带宽控制架构，提出一个完整的点对点移动高清视频通信的全过程，从源端编码到中间链路双向可用视频带宽探测并反馈编码端调整，使可用视频带宽充分利用以保障视频质量，再到目标端接收的全部过程；移动视频双向探测带宽控制流程为：移动高清视频创建初始化时，编码源端设置较低的编码码率，确保不超过链路可用带宽，并进入码率调整粗扫描状态，RTP协议对每一帧编码视频按合适的包长度进行封包后，通过链路进行传输，目标端在接收到包含视频流数据的RTP包时，对接收到RTP数据包进行帧级时延提取，将提取出来的帧级时延在窗长度下进行时延趋向判定，当未出现时延递增趋向时，反馈编码源端选择较大的步进值提升编码码率，此时扩展后的RTCP提供较快的报文速度探测链路的RTT抖动变化趋向，相比目标端帧级时延趋向探测，RTCP具有更快的探测速度，当编码码率接近可用视频带宽利用临界点时，源端的RTCP报文有更高的权限停止粗扫描状态，客户端不断对接收到的RTP数据包按时间戳和序列号进行拼帧，供客户端进行解码实时回放；此时反馈源端回调一步码率提升值，并进入细扫描过程，与粗扫描过程不同的只是步进提升长度更小，细扫描之后传输过程进入稳定状态，RTCP报文探测可用视频带宽过度使用的情况，出现过度使用时，则编码源端恢复至初始化低编码码率状态，并重新开始粗扫描和细扫描的过程，当长时间未出现过度使用的情况时，目标端帧级时延在超过临界时间长度后仍未出现递增趋向，认定实际编码码率低于链路可用视频带宽，以粗扫描与细扫描的过程提升编码码率。2.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，通过视频带宽控制架构的搭建和各个模块的实现，最终实现整个系统功能，视频带宽控制架构包括：视频编码模块，视频编码模块提供服务器端实时编码的视频码流源，本发明的算法融合目标端帧级时延趋向提取和源端RTCP报文信息快速反馈，两个算法对于编码端编码格式都无限制，选用x264软件包作为编码模块，反馈调整的是编码器的编码码率，视频编码模块打开码率控制，码率控制到单帧使每帧大小尽可能均匀；链路传输模块，实时视频码流经RTP协议封包后经过以太网链路传输，RTP数据包在链路中实行无序传输，对于传输多媒体数据时，序列号用于决定适当的包位置，便于目标端重新整理数据，RTP的包长根据单帧大小调整，避免过小包长增加丢包概率或过大包长导致丢包后影响较大，并增加帧级时延波动；源端RTCP反馈模块，源端RTCP反馈是双向探测链路可用视频带宽两个方向中的一个，利用RTP传输协议的一部分RTCP报文提供数据包的链路RTT、抖动信息，另外利用RTP/RTCP
协议的可扩展性，降低链路同步时间和RTCP报文发送间隔，源端RTCP报文的反馈相比于目标端的反馈具有更快的反应速度，在实时视频传输较小链路缓存的情况下出现拥塞时，较快的调整编码带宽；目标端帧级时延趋向提取反馈模块，目标端帧级时延趋向提取双向探测链路可用视频带宽中的两个方向中的另一个点，在端对端情况下，目标端将接收到的码流数据包根据RTP包序列号和时戳拼成完整的视频帧，利用目标端接收到视频帧发送数据包速率超过链路可用视频带宽时，目标端接收到视频帧产生的时延趋向，RTCP报文在链路可用视频带宽充分用尽时做出最快的反馈，目标端帧级时延趋向提取方法主要针对于码率调整上升阶段；视频解码端模块，视频解码端根据源端的编码方式选择相应的解码器，对计算帧级时延时拼帧后的视频帧解码播放。3.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，目标端帧级时延趋向提取方法根据实时视频编码提出，并用在实时可交互的视频通话中，它只需标准的反馈机制，对任何视频编码格式都支持；目标端的帧级时延趋向提取方法分为两部分：第一部分，时延探测：实时检测目标端接收到视频帧的时延，判断链路可用视频带宽的过度使用；第二部分，动态带宽调整：根据第一部分的时延探测，源端根据目标端的反馈调整编码码率来最大化适应链路可用视频带宽。4.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，时延可用性前提解析：目标端帧级时延趋向提取方法的关键点是通过在目标端探测视频包时延来判断可用视频带宽的过度使用，探测视频帧在链路传输过程中出现时延的明显的递增或递减的趋向，当可用视频带宽过度使用时，即数据包进入链路的速率超过链路可以传输这些包的能力，这些数据包将存储在链路提供的缓存中，直到传输完成，这就在目标端引入数据包的时延，即队列产生的时延，而最大的队列时延，取决于链路的缓存大小，当缓存溢出时，会出现数据包丢失，源端发送速率过大导致链路缓存无法存储不断到来的数据包，造成数据包随机丢失；本发明提出新的计算时延的方法，将历史的参考帧作为时间参考点计算时延而非端到端绝对时延，测量每一帧的时延，简单且没有附加操作。5.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，提取帧级时延：目标端帧级时延趋向即通过比较接收到数据包的接收时间和RTP时戳，得到源端和目标端之间的单程时延，目标端帧级时延趋向探测是依据连续的数据包，出现时钟漂移也无关系，具体的时延探测都是在毫秒级，时钟漂移只可能导致单独数毫秒的递增或者递减情况出现，另一方面，编码器会针对I帧编码做特别的码率控制补偿，I帧的存在会影响时延趋向的判断，时延趋向算法会在I帧出现时复位时延参数计算，即时间参考点的改变；正常时延趋向算法为：定义{q1,q2,q3,...,q
i
,...,}为收到的一系列数据包，定义Tx
i
是为数据包i的接收时间，RS
i
是数据包i的RTP时戳，令Tef(i)为距离数据包i最近的参考帧,则数据包时延如下式计算：时延即为数据包接收时延和发送时戳时延归一化的差值，选择I帧后的第二个Q帧作为
参考时间点，编码器会为I帧分配较大数据量后，在后几个连续Q帧做码率补偿,对一帧内连续包的时延做平均得到一帧的时延：对一帧时延A(f
i
)做滑动平均，平均结果作为目标端帧级时延所需参数值，即：C(f
i
)＝d*A(f
i
)+(1
‑
d)*C(f
i
‑1) (d∈[0，1])其中，d为平滑因子。6.根据权利要求1所述的移动高清视频智能双向探测带宽控制系统，其特征在于，帧级时延趋向判定：得到帧级时延参数值后做时延探测，时延探测是基于目标端帧级时延...

【专利技术属性】
技术研发人员：高小翎，王斌，
申请(专利权)人：高小翎，
类型：发明
国别省市：