一种基于VR终端反馈的自适应编码方法技术

一种基于VR终端反馈的自适应编码方法，属于多媒体传输技术领域。本方法核心思想是：通过在传输机制上做出改进，即通过对全景视频分割成多个视角视频，各视角视频信息独立编码传输，再根据终端视角跟踪技术实时传输用户需要的视角视频信息，其他视角低码率传输，在终端将各视角视频拼接成全景视频，再通过终端打分反馈机制使用户得到合适的视角信息，用户的打分指令传输到服务器，服务器根据用户打分映射不同的码率反馈到终端。本发明专利技术的优势在于在现有的传输信道容量下，依然可以实现全景视频的传输，使得VR技术可以在多种平台上实现，适应于更加广泛的群体，无须对信道本身做出过大的改进，终端打分反馈机制让用户选择合适主观观看体验。

【技术实现步骤摘要】
一种基于VR终端反馈的自适应编码方法
本专利技术涉及一种基于VR终端反馈的自适应编码方法，属于多媒体传输

技术介绍
随着VR技术的发展与应用，我们的观看视频的方式变得更加有亲临感。目前市场上出现的各种各样的头显VR设备，然而光有设备是不够的，视频源的提供才是VR发展的关键。全景视频是提供给VR设备的内容。在我们的日常生活中，不论是观看电视还是手机，我们看的视角都只是一个视角，这个视角被认为一个平面。但实际上我们的位置是三维空间的一个点，我们所能接受的视频信息可以是三维的，可以接受空间中各个方向的视角信息。全景视频正是这样一个产品，用户可以根据自己想要看的东西来选择“转头”观看。VR全景视频整体方案包括了采集、拼接、编码及传输和播放几个部分。对于视频内容的生产而言，第一步就是视频采集。与普通视频生产不同，全景视频的采集需要多台摄像机同时完成。目前采用的采集设备有GoogleJump、GoPro、NOKIAOZO等。全景设备的取景范围水平360°，垂直180°。拍摄使用的全景拍摄都是经过相机参数标定的。而在拍摄过程中，我们还需要解决采集同步的问题。常见的同步方式有：闪光同步，即检测所有相机视频帧内的“闪光”，如明亮帧，白色帧，利用这个信号进行同步；运动同步，即检测所有相机视频帧内的运动信息，通过匹配运动量进行同步；声音同步，即分析所有相机采集到的声音频谱进行同步；以及手动同步，即根据某一个时刻的所有的相机采集的视频帧手动进行微调。完成同步采集后，需要将相机采集的视频帧进行拼接，而在拼接之前，考虑到各帧是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏景物的视觉的一致性。所以要先对图像进行投影变换，在进行拼接。一般有平面投影、柱面投影、球面投影和鱼眼投影等。完成投影变换后，之后步骤就是拼接，拼接过程主要特征提取-特征匹配-配准-融合等步骤。特征点匹配可以采用SIFT的作者lowe提出比较最近邻距离与次紧邻距离的SIFT匹配方式，或者KD-Tree算法等。而在匹配过程中，通常使用RANSAC算法对特征点进行筛选。配准的目的是根据几何运动模型将图像注册到一个坐标系中，在多幅图像配准过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿摄型模型和透视模型等。图像配准之后，便可以进行图像融合操作，图像融合技术一般可以分为非多分辨率和多分辨率技术俩类。通过以上操作基本完成拼接工作。但是，由于不同角度的画面是通过不同的相机采集得到，最终全景图像会遇到各个区域的曝光不一致的情况，通过曝光补偿的技术可以使得拼接后的全景图像曝光一致。再则当场景中有物体移动时会出现鬼影现象，我们则会通过ROD算法去除这种现象，之后便得到全景视频信息。全景视频信息需要专门的传输编码来满足庞大的信息量传输，但是目前还没有针对全景视频的编码标准。例如乐视云构建的VR视频云平台，包含以上采集、拼接、编码传输和播放等几个环节。采用多个普通镜头进行多角度无死角的拍摄，使用特征提取、特征匹配、校准、融合和曝光补偿等技术拼接成完整的全景图像；再经H264、H265等视频压缩技术进行编码处理，之后通过RTSP、RTMP、HLS等传输协议进行传输，最后通过相应解码器完成解码播放工作，在不同终端上实现VR、全景等播出形式。现在基于互联网传输到移动终端或者CP上的流媒体传输协议普遍是HAS，即HTTP自适应传输协议，该协议是在HTTP基础上改进而来，HTTP协议即超文本传输协议最大的功能就是高速缓冲。是指服务器可以把最近的一些请求、相应暂时缓存在本地，当有新的请求到达时，若是代理服务器发现其与之前暂存的请求相同，怎返回咱村的响应，而无需按照URL地址重新访问网络。这样大大减少了网络上的通信量从而优化了网络状况。HTTPAdaptiveStreaming指的是HTTP自适应码流传输协议,其主要服务器实现媒体文件的分片，然后把每个媒体文件分片通过HTTP协议传输媒体流，可以实现媒体播放过程中的码率变化。结合网络带宽资源，为用户提供更好的体验。同时在带宽资源充分的情况下，可以为用户提供高码率的视频体验，在带宽资源不足时可以为用户提供低码率的视频体验，在带宽资源变化的情况下，可以为用户提供可变的码率的视频服务，即网速好时可以选择高清视频，当网速不好时候，可以选择标清视频。
技术实现思路
本专利技术的目的是优化全景视频的传输效率，增强VR终端显示，在网络传输中，使得全景视频信号传输效率更高，减小冗余度，提出了一种基于VR终端反馈的自适应编码方法。本专利技术的思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端，即VR终端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景。在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。本专利技术是一种基于VR终端反馈的自适应编码方法，可以通过MPEG-DASH、HAS、HLS为主的视频传输技术实现，具体步骤如下：步骤一：服务器端采集全景视频、并将采集到的全景视频拼接成未编码的全景视频信息；步骤二：用户端向服务器断发送指令，申请观看步骤一生成的全景视频信息；其中发送的指令中包括用户的视角选择；步骤三：服务器端接收步骤二终端向服务器端发送的指令；步骤四：服务器端响应步骤三的指令，将步骤一中生成的全景视频信息基于视角进行分割，输出若干个视角视频信息，再对视角视频信息进行编码传输，再根据步骤二发送的指令中的用户视角选择，将对应视角的全景视频信息传输给发送端；具体说来：步骤四将步骤一的未编码的全景视频信息进行图像分割，转换成若干个视角视频信息，进行独立编码传输；步骤四又可以再分为以下三个步骤：步骤4.1服务器端对步骤一输出的全景视频信息进行分割，针对不同用户视角需求，全景视频信息被分割成多个独立的用视频信息，在该用户视角视频信息中其他视角内容被“模糊”，这样就节省了传输量；其中，用户视角视频信息的数量不限定。步骤4.2对步骤4.1输出的用户视角视频信息进行编码再传输；其中，本步骤中每一个视角视频信息都独立进行编码并传输，这会大本文档来自技高网...

【技术保护点】
一种基于VR终端反馈的自适应编码方法，其特征在于:思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景；在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。...

【技术特征摘要】
1.一种基于VR终端反馈的自适应编码方法，其特征在于:思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景；在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。2.根据权利要求1所述的一种基于VR终端反馈的自适应编码方法，其特征在于:可通过MPEG-DASH、HAS、HLS为主的视频传输技术实现，具体步骤如下：步骤一：服务器端采集全景视频、并将采集到的全景视频拼接成未编码的全景视频信息；步骤二：用户端向服务器断发送指令，申请观看步骤一生成的全景视频信息；步骤三：服务器端接收步骤二终端向服务器端发送的指令；步骤四：服务器端响应步骤三的指令，将步骤一中生成的全景视频信息基于视角进行分割，输出若干个视角视频信息，再对视角视频信息进行编码传输，再根据步骤二发送的指令中的用户视角选择，将对应视角的全景视频信息传输给发送端；具体说来：步骤四将步骤一的未编码的全景视频信息进行图像分割，转换成若干个视角视频信息，进行独立编码传输；步骤五：终端检测用户并将监测信息反馈给用户端；步骤六：服务器端视频质量评价；步骤七：VR用户进行打分；至此，从步骤一到步骤七，完成了一种基于VR终端反馈的自适应编码方法。3.根据权利要求2所述...

【专利技术属性】
技术研发人员：费泽松，王飞，王晶，田宝平，李卓然，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11