一种基于视觉连续性的全景视频分发方法和系统技术方案

本发明专利技术公开一种基于视觉连续性的全景视频分发方法和系统。本发明专利技术方法利用人眼视觉的连续性，对全景视频拼接的多路码流进行自适应分发。从而使得全景视频能根据网络拥塞状况分发各路码流，在不影响观众的观看效果下，同时提升全景视频播放的流畅度。

Panoramic video distribution method and system based on visual continuity

The invention discloses a panoramic video distribution method and system based on visual continuity. The method of the invention utilizes the continuity of the human vision, and is used for adaptive distribution of a plurality of video streams of panoramic video mosaics. So that the panoramic video can be distributed according to the network congestion status of each stream, without affecting the audience's viewing effect, while enhancing the smoothness of panoramic video playback.

【技术实现步骤摘要】

本专利技术涉及视频分发领域，尤其涉及一种基于视觉连续性的全景视频分发方法和系统。
技术介绍
全景视频在提供全方位的视觉信息的同时，能够提供动态的实时的视频信息，使得人们可以看到环绕在摄像机周围的整个动态景象。全景图一般都是大分辨率的图像，它的生成需要大量的计算工作。而全景视频相比全景图，增加了一个新的时间维度。因此，计算量和数据量都将会是数十倍于全景图，这对硬件系统的处理能力和软件系统的工作效率都是极大的挑战。而当全景视频的码流进行分发传输时，对网络的带宽将形成极大地压力，对带宽极其有限的移动网络，更是极大地挑战。
技术实现思路
本专利技术实施例的目的在于提出一种基于视觉连续性的全景视频分发方法，旨在解决现有技术全景视频分发计算量大、效率低、不流畅的问题。本专利技术实施例是这样实现的，一种基于视觉连续性的全景视频分发方法，所述方法包括以下步骤：步骤A：任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准角度，记为θcur；步骤B：计算全景视频各路码流对应的摄像机采集视角θn与θcur的角度差dθn；θn表示streamn对应的摄像机采集视角；streamn表示全景视频的第n个拼接码流，n＝1,2,...,N，N表示拼接码流的个数；步骤C：将全景视频多路码流排列成两个码流队列；步骤D：发送const秒全景视频多路码流streamn，n＝1,2,...,N；const表示时间窗时长参数；步骤E：在const秒时间窗内，发送该时间窗内的视觉角度信息表示第nt个时间窗的视觉角度上限和下限；步骤F：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入步骤G；否则，结束全景视频多路码流的分发；nt表示时间窗标号，初始值为1；步骤G：根据视觉角度信息，分发全景视频多路码流；步骤H：令nt＝nt+1，确定const，的值，然后重新进入步骤D。其中，dθn＝θn-θcur，n＝1,2,...,N；t0表示发送码流初始缓冲时长，取3-6秒；tc表示发送码流缓冲时长；min(变量|条件)、max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；分别表示第nt个时间窗的时间上限和时间下限，本专利技术实施例的另一目的在于一种基于视觉连续性的全景视频分发系统，所述系统包括：基准码流和基准角度设置模块，用于任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准角度，记为θcur；其中，streamn表示全景视频的第n个拼接码流，n＝1,2,...,N，N表示拼接码流的个数；角度差计算模块，用于计算全景视频各路码流对应的摄像机采集视角与θcur的角度差dθn，dθn＝θn-θcur，n＝1,2,...,N；θn表示streamn对应的摄像机采集视角；码流队列排序装置，用于将全景视频多路码流排列成两个码流队列；第一多路码流发送模块，用于发送const秒全景视频多路码流streamn，n＝1,2,...,N；const表示时间窗时长参数；视觉角度信息发送模块，用于在const秒时间窗内，发送该时间窗内的视觉角度信息其中，表示第nt个时间窗的视觉角度上限和下限；第一判断处理模块，用于如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入多路码流分发模块；否则，结束全景视频多路码流的分发；多路码流分发装置，用于根据视觉角度信息，分发全景视频多路码流；设置模块，用于令nt＝nt+1，确定const，的值，然后，重新进入第一多路码流发送模块。其中，t0表示发送码流初始缓冲时长，取3-6秒；tc表示发送码流缓冲时长；nt表示时间窗标号，初始值为1；min(变量|条件)、max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；本专利技术的有益效果本专利技术方法提出一种基于视觉连续性的全景视频分发方法。本专利技术方法利用人眼视觉的连续性，对全景视频拼接的多路码流进行自适应分发。从而使得全景视频能根据网络拥塞状况分发各路码流，在不影响观众的观看效果下，同时提升全景视频播放的流畅度。附图说明图1是本专利技术优选实施例一种基于视觉连续性的全景视频分发方法流程图；图2是图1中Step2的详细方法流程图；图3是图1中Step6的详细方法流程图；图4是本专利技术优选实施例一种基于视觉连续性的全景视频分发系统结构图；图5是图4中码流队列排序装置详细结构图；图6是图4中多路码流分发装置详细结构图；图7是图6中第一处理装置详细结构图；图8是图6中第二处理装置详细结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明，为了便于说明，仅示出了与本专利技术实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本专利技术，并不用以限制本专利技术。本专利技术实施例方法提出一种基于视觉连续性的全景视频分发方法。本专利技术实施例方法利用人眼视觉的连续性，对全景视频拼接的多路码流进行自适应分发。从而使得全景视频能根据网络拥塞状况分发各路码流，在不影响观众的观看效果下，同时提升全景视频播放的流畅度。实施例一图1是本专利技术优选实施例一种基于视觉连续性的全景视频分发方法流程图；所述方法包括以下步骤：Step0：任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准角度，记为θcur。其中，streamn表示全景视频的第n个拼接码流，n＝1,2,...,N，N表示拼接码流的个数；θn表示streamn对应的摄像机采集视角。Step1：计算全景视频各路码流对应的摄像机采集视角与θcur的角度差dθn，dθn＝θn-θcur，n＝1,2,...,N。Step2：将全景视频多路码流排列成两个码流队列。图2是图1中Step2的详细方法流程图；包括：Step21:将所有小于等于0的角度差升序排列，记为其中，k1表示所有小于等于0的角度差的数量；Step22:根据所述所有小于等于0的角度差的排列顺序，分别将对应的摄像机采集视角排列成一个角度序列记为称为第一角度序列；将对应的全景视频多路码流排列成一个码流序列记为称为第一码流序列；Step23:将所有大于0的角度差降序排列，记为Step24:根据所述所有大于0的角度差的排列顺序，分别将对应的摄像机采集视角排列成一个角度序列记为称为第二角度序列；将对应的全景视频多路码流排列成一个码流序列记为称为第二码流序列。Step3：发送const秒全景视频多路码流streamn，n＝1,2,...,N。其中，const表示时间窗时长参数；t0表示发送码流初始缓冲时长，一般可取3-6秒；tc表示发送码流缓冲时长；nt表示时间窗标号，初始值为1。Step4：在const秒时间窗内，发送该时间窗内的视觉角度信息其中，所述视觉角度信息包括表示第nt个时间窗的视觉角度上限和下限，min(变量|条件)、max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；Step5：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入Step6；否则，结束全景视频多路码流的分发。Step6：根据视觉角度信本文档来自技高网...

【技术保护点】
一种基于视觉连续性的全景视频分发方法，其特征在于，所述方法包括以下步骤：步骤A：任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准角度，记为θcur；步骤B：计算全景视频各路码流对应的摄像机采集视角θn与θcur的角度差dθn；θn表示streamn对应的摄像机采集视角；streamn表示全景视频的第n个拼接码流，n＝1,2,...,N，N表示拼接码流的个数；步骤C：将全景视频多路码流排列成两个码流队列；步骤D：发送const秒全景视频多路码流streamn，n＝1,2,...,N；const表示时间窗时长参数；步骤E：在const秒时间窗内，发送该时间窗内的视觉角度信息表示第nt个时间窗的视觉角度上限和下限；步骤F：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入步骤G；否则，结束全景视频多路码流的分发；nt表示时间窗标号，初始值为1；步骤G：根据视觉角度信息，分发全景视频多路码流；步骤H：令nt＝nt+1，确定const，的值，然后重新进入步骤D。

【技术特征摘要】
1.一种基于视觉连续性的全景视频分发方法，其特征在于，所述方法包括以下步骤：步骤A：任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准角度，记为θcur；步骤B：计算全景视频各路码流对应的摄像机采集视角θn与θcur的角度差dθn；θn表示streamn对应的摄像机采集视角；streamn表示全景视频的第n个拼接码流，n＝1,2,...,N，N表示拼接码流的个数；步骤C：将全景视频多路码流排列成两个码流队列；步骤D：发送const秒全景视频多路码流streamn，n＝1,2,...,N；const表示时间窗时长参数；步骤E：在const秒时间窗内，发送该时间窗内的视觉角度信息表示第nt个时间窗的视觉角度上限和下限；步骤F：如果全景视频多路码流streamn第nt+1时间窗内的码流存在，则进入步骤G；否则，结束全景视频多路码流的分发；nt表示时间窗标号，初始值为1；步骤G：根据视觉角度信息，分发全景视频多路码流；步骤H：令nt＝nt+1，确定const，的值，然后重新进入步骤D。2.如权利要求1所述的基于视觉连续性的全景视频分发方法，其特征在于，dθn＝θn-θcur，n＝1,2,...,N；t0表示发送码流初始缓冲时长，取3-6秒；tc表示发送码流缓冲时长；min(变量|条件)、max(变量|条件)分别表示对求满足条件的变量求最小值、最大值；分别表示第nt个时间窗的时间上限和时间下限，3.如权利要求1所述的基于视觉连续性的全景视频分发方法，其特征在于，所述将全景视频多路码流排列成两个码流队列具体为：将所有小于等于0的角度差升序排列，记为其中，k1表示所有小于等于0的角度差的数量；根据所述所有小于等于0的角度差的排列顺序，分别将对应的摄像机采集视角排列成一个角度序列记为称为第一角度序列；将对应的全景视频多路码流排列成一个码流序列记为称为第一码流序列；将所有大于0的角度差降序排列，记为根据所述所有大于0的角度差的排列顺序，分别将对应的摄像机采集视角排列成一个角度序列记为称为第二角度序列；将对应的全景视频多路码流排列成一个码流序列记为称为第二码流序列。4.如权利要求1所述的基于视觉连续性的全景视频分发方法，其特征在于，所述根据视觉角度信息，分发全景视频多路码流具体为：计算称为标志视角；首先，计算接着，找到上述最小值对应的摄像机采集角度，记为θnow，对应的码流记为streamnow；abs(变量)表示对变量取绝对值；如果streamnow位于第一码流序列，则采用第一处理模式；否则，采用第二处理模式；构建全景视频多路码流分发序列表：按全景视频多路码流分发序列表的顺序，依次发送全景视频多路码流对应nt+1时间窗内的码流。5.如权利要求4所述的基于视觉连续性的全景视频分发方法，其特征在于，所述第一处理模式为：找到streamnow在第一码流序列中的位置；重排第二码流序列及第二角度序列；具体为：将第一码流序列中，所有位于streamnow前的码流按照倒序逐一放入第二码流序列，原始第二码流序列中的码流依次后移，超出序列长度的码流依次移出放入第一码流序列的尾部，获取更新的第二码流序列；将第一角度序列中，所有位于θnow前的角度按照倒序逐一放入第二角度序列，原始第二角度序列中的角度依次后移，超出序列长度的角度依次移出放入第一角度序列的尾部，获取更新的第二角度序列；重排第一码流序列及第一角度序列；具体为：将streamnow移动到第一码流序列的首位，同时将所有位于streamnow后的码流随之依次前移，获取更新的第一码流序列；然后，将θnow移动到第一角度序列的首位，同时将所有位于θnow后的码流随之依次前移，获取更新的第一角度序列。6.如权利要求4所述的基于视觉连续性的全景视频分发方法，其特征在于，所述第二处理模式为：找到streamnow在第二码流序列中的位置；重排第一码流序列及第一角度序列；具体为：将第二码流序列中，所有位于streamnow及streamnow前的码流按照倒序逐一放入第一码流序列，原始第一码流序列中的码流依次后移，超出序列长度的码流依次移出放入第二码流序列的尾部，获取更新的第一码流序列；将第二角度序列中，所有位于θnow及θnow前的角度按照倒序逐一放入第一角度序列，原始第一角度序列中的角度依次后移，超出序列长度的角度依次移出放入第二角度序列的尾部，获取更新的第一角度序列；重排第二码流序列及第二角度序列；具体为：将所有位于streamnow后的码流依次前移，直到有一个码流移到第二码流序列的首位，获取更新的第二码流序列；将所有位于θnow后的码流随之依次前移，直到有一个角度移到第二角度序列的首位，获取更新的第二角度序列。7.一种基于视觉连续性的全景视频分发系统，其特征在于，所述系统包括：基准码流和基准角度设置模块，用于任选全景视频多路码流中的一个码流，作为基准码流记为streamcur，将streamcur对应的摄像机采集视角作为基准...

【专利技术属性】
技术研发人员：马国强，
申请(专利权)人：深圳百科信息技术有限公司，
类型：发明
国别省市：广东;44