基于PI控制的多视点视频自适应传输控制算法制造技术

本发明专利技术涉及一种基于PI控制的MPEG‑DASH多视点视频自适应算法，包括：进入初始缓存阶段：设置PI控制器；计算估计吞吐量；计算缓存；计算缓存的偏移量；系统控制变量的输入；根据PI控制器的输出控制变量以及步骤6计算得到的估计吞吐量，通过控制计算单元输出第i个比特流视频切片选择标准；比特流选择，并在这些所选择的视频切片中选择客观指标值，即SSIM值较大的多视点比特流视频切片进行传输。本发明专利技术可以防止缓存溢出造成的视频播放停滞或带宽利用率低等问题。

【技术实现步骤摘要】

本专利技术属于网络多视点视频自适应传输领域，更具体的是应用于3D环境中，一种基于PI控制的多视点视频自适应传输控制算法。
技术介绍
随着互联网以及各个智能终端的快速发展，人们对于视频、音频等多媒体信息的需求日益增多，为了解决各个智能终端间的兼容性和适配性等问题，动态图像专家组(MPEG)与第三代合作伙伴计划(3GPP)于2011联合提出基于HTTP的动态自适应流媒体传输(MPEG-DASH)协议，该协议规定了媒体描述文件(MPD)及媒体文件的格式。基于HTTP动态自适应(DASH)传输协议的流媒体传输机制，是由客户端驱动，在视频传输前，服务器会将同一视频资源分割成不同的视频切片，并进行不同比特率编码，最终生成一个基于二进制可扩展标记语言(XML)格式的媒体描述文件，它包含了视频切片的比特率、分辨率、时间间隔等相应的视频属性信息。客户端根据当前的网络状况、自身硬件的处理能力以及缓存等相关参数根据媒体描述文件所提供的统一资源定位符(URL)自适应的选择适应于当前网络状况的下的视频资源进行申请和下载。然而随着图像以及摄影技术的发展，3D视频以立体、真实的用户体验质量深受各产品运营商以及研究者的亲睐。在ITU-T和ISO联合制定的下一代视频编码标准(HEVC)中,将3D-HEVC作为了HEVC的扩展，相对于H264/AVC，HEVC压缩方案效率提高一倍。在3D-HEVC中以多视点加深度(MVD)作为数据的压缩格式，为每个视点编码一个深度信息，用来描述的是拍摄场景中客体离摄像机的距离。编码后的多视点加深度视频流会发送到客户端，客户端会根据深度信息通过深度图像渲染(DIBR)合成虚拟视点，进而完成3D视频的重建。目前已经有很多关于2D-DASH自适应方案的研究主要可以分为两类：基于吞吐量自适应和基于缓存自适应。相较之下，3D-DASH自适应方案还不够成熟。在目前的3D-DASH的研究主要集中在媒体描述文件的格式改进、传输的视点数量对最终呈现的视频质量的影响以、传输视点数量的自适应切换。但是由于多视点编码的原因，在3D环境中，客户端会产生更多的具有不同比特率的多视点比特流版本。因此基于3D-DASH的自适应方案相对于2D要求更加严格。
技术实现思路
本专利技术所解决的技术问题是：在无线网络环境下，提供一种由客户端驱动的基于PI控制的MPEG-DASH多视点视频自适应算法，以满足：在现有的无线网络环境下，保证申请的视频质量紧跟网络带宽的变化，以防止缓存溢出造成的视频播放停滞或带宽利用率低等问题；在有限的网络带宽环境下，最大化用户申请的视频质量，以最大化用户体验质量；在网络带宽发生波动时，尽量维持所选择的视频质量稳定，避免造成视频质量频繁切换给用户带来疲惫感；本专利技术的技术方案如下：一种基于PI控制的MPEG-DASH多视点视频自适应算法，该算法采用PI控制器：将缓存相对于目标缓存的偏离程度作为误差反馈信号，通过反馈信号动态的输出多视点比特流切片选择标准，包括以下步骤：步骤1：资源预备：在多视点视频进行自适应传输前，服务器端进行多视点比特流的资源预备，将各个位置捕捉到的视频流进行独立对称编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：对多视点视频流进行打包，并将结构相似性指标SSIM作为设置多视点视频流的自适应切换的客观参考依据，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载：在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段：客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，执行步骤5，启动自适应传输；步骤5：设置PI控制器的比例系数Kp和积分时间常数Ki；步骤6：计算估计吞吐量：根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量Te(i)；步骤7：计算缓存：根据申请的多视点比特流视频切片的总比特率、网络吞吐量以及上一个视频切片下载完成是的缓存余量，计算第i个视频切片下载完成后的缓存余量B(i)；步骤8：计算缓存的偏移量：设置目标缓存Bopt，将步骤7计算得到的缓存余量同目标缓存对比，并计算两者的差值作为当前的缓存偏移量Boffet：Boffset＝B(i)-Bopt步骤9：系统变量的输入：将步骤8计算得到的缓存偏移量作为PI控制器的输入，进入PI控制器的计算单元，输出控制变量u(i)：u(i)=Kp(B(i)-Bopt)+KiΣτ=0i(B(τ)-Bopt)]]>步骤10：计算多视点比特流切片选择标准：根据PI控制器的输出控制变量以及步骤6计算得到的估计吞吐量，通过控制计算单元输出第i个比特流视频切片选择标准:v~(i)=(1+u(i))×Te(i)]]>步骤11：比特流选择：根据步骤10输出的多视点比特流切片选择标准在各个比特流中选择总比特率最为接近该标准的视频切片，并在这些所选择的视频切片中选择客观指标值，即SSIM值较大的多视点比特流视频切片进行传输；步骤12：视频下载；根据步骤11所做决策向服务器端申请下一视频切片，等待，直到本视频切片下载完成；步骤13：重复步骤6～12，直到下载完成本视频所有切片。附图说明图1为本专利技术服务器系统图图2为本专利技术客户端系统图图3为基于DASH的自适应传输机制图4为基于PI控制的自适应算法框架图5为本专利技术具体实施的逻辑框图具体实施方法为使本专利技术的目的技术方案和优点更加清楚，下面结合附图和具体实施方案，对本专利技术进行进一步的详细描述。步骤1：在视频自适应传输前，服务器端进行多视点比特流的资源预备，如图1服务器的系统框图，本专利技术的具体实施方案采用3个摄像机以相同的基线距离环形排列，进行视频捕捉，并采用3D-HEVC标准对捕捉到的视频流进行独立对称地编码，每个视点被编码成L个比特率播放版本(v1,v2,...,vL)。以相同的时间间隔(8秒)将每个视点视频切割成N个视频切片。打包合成两种比特流：两视点加深度(2VD)和三视点加深度(3VD)。步骤2：媒体描述文件生成。根据步骤1得到的多视点比特流(2VD，3VD)，将各个比特流在客户端渲染的虚拟视点的平均结构相似性指标(SSIM)值，作为多视点比特流的切换的客观依据以贴近用户的真实体验。最终将服务器端比特流切片的比特率、视点数量、SSIM值以及URL等属性信息汇总到媒体描述文件中。步骤3：媒体描述文件预下载。如图3基于DASH的自适应传输机制，客户端预先向服务器发送HTTPGET请求下载媒体描述文件媒体描述。并通过解析媒体描述文件获知服务器端比特流的比特率、视点数量、SSIM值以及URL等属性信息。步骤4：初始缓存阶段。缓存开始阶段，客户端根据从媒体描述文件中得到的服务器端视频的属性信息，向服务器申请最低等级质量视频且视点数最低(2VD)的比特流，直到缓存达到预设值，启动客户端自适应传输机制。步骤5：设计PI控制器。图4为基于PI控制的自适应算法框架。本专利技术采用P(比例)控制器和I(积分)控制器，设置P控制器的比例系数Kp＝0.1和I控制器的积分时间常数K本文档来自技高网...

【技术保护点】
一种基于PI控制的MPEG‑DASH多视点视频自适应算法，该算法采用PI控制器：将缓存相对于目标缓存的偏离程度作为误差反馈信号，通过反馈信号动态的输出多视点比特流切片选择标准，包括以下步骤：步骤1：资源预备：在多视点视频进行自适应传输前，服务器端进行多视点比特流的资源预备，将各个位置捕捉到的视频流进行独立对称编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：对多视点视频流进行打包，并将结构相似性指标SSIM作为设置多视点视频流的自适应切换的客观参考依据，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载：在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段：客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，执行步骤5，启动自适应传输；步骤5：设置PI控制器的比例系数Kp和积分时间常数Ki；步骤6：计算估计吞吐量：根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量Te(i)；步骤7：计算缓存：根据申请的多视点比特流视频切片的总比特率、网络吞吐量以及上一个视频切片下载完成是的缓存余量，计算第i个视频切片下载完成后的缓存余量B(i)；步骤8：计算缓存的偏移量：设置目标缓存Bopt，将步骤7计算得到的缓存余量同目标缓存对比，并计算两者的差值作为当前的缓存偏移量Boffet： Boffset＝B(i)‑Bopt步骤9：系统变量的输入：将步骤8计算得到的缓存偏移量作为PI控制器的输入，进入PI控制器的计算单元，输出控制变量u(i)：u(i)=Kp(B(i)-Bopt)+KiΣτ=0i(B(τ)-Bopt)]]>步骤10：计算多视点比特流切片选择标准：根据PI控制器的输出控制变量以及步骤6计算得到的估计吞吐量，通过控制计算单元输出第i个比特流视频切片选择标准:v~(i)=(1+u(i))×Te(i)]]>步骤11：比特流选择：根据步骤10输出的多视点比特流切片选择标准在各个比特流中选择总比特率最为接近该标准的视频切片，并在这些所选择的视频切片中选择客观指标值，即SSIM值较大的多视点比特流视频切片进行传输；步骤12：视频下载；根据步骤11所做决策向服务器端申请下一视频切片，等待，直到本视频切片下载完成；步骤13：重复步骤6～12，直到下载完成本视频所有切片。...

【技术特征摘要】
1.一种基于PI控制的MPEG-DASH多视点视频自适应算法，该算法采用PI控制器：将缓存相对于目标缓存的偏离程度作为误差反馈信号，通过反馈信号动态的输出多视点比特流切片选择标准，包括以下步骤：步骤1：资源预备：在多视点视频进行自适应传输前，服务器端进行多视点比特流的资源预备，将各个位置捕捉到的视频流进行独立对称编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：对多视点视频流进行打包，并将结构相似性指标SSIM作为设置多视点视频流的自适应切换的客观参考依据，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载：在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段：客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，执行步骤5，启动自适应传输；步骤5：设置PI控制器的比例系数Kp和积分时间常数Ki；步骤6：计算估计吞吐量：根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量Te(i)；步骤7：计算缓存：根据申请的多视点比特流视频切片的总比...

【专利技术属性】
技术研发人员：侯永宏，邢家明，薛琳，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12