空间层速率分配制造技术

一种方法(400)包括接收对应于缩放视频输入信号(120)的变换系数(226)，所述缩放视频输入信号(120)包括多个空间层(L)，所述多个空间层(L)包括基本层(L

【技术实现步骤摘要】
【国外来华专利技术】空间层速率分配
本专利技术涉及在可缩放视频编码背景下的空间层速率分配。
技术介绍
随着视频在广泛的应用中变得越来越普遍，视频流可能需要依据应用的情况被编码和/或解码若干次。例如，不同的应用和/或设备可能需要遵守带宽或资源约束。为了满足这些需要几种设置组合而不至于过于昂贵的需求，已经开发了将视频压缩成几种分辨率的高效编解码器。利用诸如可缩放VP9和H.264之类的编解码器，视频比特流可以包含多个空间层，这些空间层允许用户以不同的分辨率(即每个空间层的分辨率)重构原始视频。通过具有可缩放能力，视频内容可以通过有限的进一步处理从设备传递到设备。
技术实现思路
本专利技术的一个方面提供了一种用于分配比特率的方法。所述方法包括在数据处理硬件处接收对应于缩放视频输入信号的变换系数，所述缩放视频输入信号包括多个空间层，所述多个空间层包括基础层。该方法还包括由数据处理硬件基于来自缩放视频输入信号的帧样本来确定空间速率因子。空间速率因子在从缩放视频输入信号形成的编码比特流的每个空间层处定义用于比特率分配的因子。空间速率因子由基本层的每个变换系数的比特率和多个空间层的每个变换系数的平均比特率之间的差来表示。该方法还包括通过基于空间速率因子和帧样本将比特率分配给每个空间层来减少编码比特流的多个空间层的失真。本专利技术的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，该方法还包括在数据处理硬件处从缩放视频输入信号接收第二帧样本；数据处理硬件基于来自缩放视频输入信号的第二帧样本修改空间速率因子；数据处理硬件基于修改后的空间速率因子和第二帧样本，为每个空间层分配修改后的比特率。在另外的实施方式中，该方法还包括在数据处理硬件处接收来自缩放视频输入信号的第二帧样本；数据处理硬件基于指数移动平均值逐帧修改空间速率因子，指数移动平均值至少对应于帧样本和第二帧样本；数据处理硬件基于修改后的空间速率因子为每个空间层分配修改后的比特率。在一些示例中，接收缩放视频输入信号包含接收视频输入信号、将视频输入信号缩放成多个空间层、将每一空间层分割成子块、将每一子块变换成变换系数、以及标量量化对应于每一子块的变换系数。基于来自缩放视频输入信号的帧样本来确定空间速率因子可包含基于视频输入信号的帧的所有变换块上的平均值来确定每一标量量化变换系数的方差估计。在此，每个子块的变换系数可以在所有子块上相同地分布。在一些实施方式中，该方法还包括由数据处理硬件确定空间速率因子满足空间速率因子阈值。在这些实施方式中，当空间速率因子阈值对应的值小于约1.0且大于约0.5时，该值可以满足空间速率因子阈值。空间速率因子可以包括经配置将比特率分配给编码比特流每个层的单个参数。在一些示例中，空间速率因子包括与方差乘积的比率相对应的加权和，其中所述比率包括基于来自第一空间层的标量量化变换系数的估计方差的分子和基于来自第二空间层的标量量化变换系数的估计方差的分母。本专利技术的另一方面提供了一种用于分配比特率的系统。该系统包括数据处理硬件以及与数据处理硬件通信的存储器硬件。所述存储器硬件存储在被数据处理硬件执行时致使其执行操作的指令。所述操作包括接收对应于缩放视频输入信号的变换系数，所述缩放视频输入信号包括多个空间层，所述多个空间层包括基础层。所述操作还包括基于来自缩放视频输入信号的帧样本来确定空间速率因子。空间速率因子在从缩放视频输入信号形成的编码比特流的每个空间层处定义了用于比特率分配的因子。空间速率因子由基本层的每个变换系数的比特率和多个空间层的每个变换系数的平均比特率之间的差来表示。该操作还包括通过基于空间速率因子和帧样本将比特率分配给每个空间层来减少编码比特流的多个空间层的失真。该方面可以包括一个或多个以下的可选特征。在一些实施方式中，所述操作还包括从缩放视频输入信号接收第二帧样本；基于来自缩放视频输入信号的第二帧样本来修改空间速率因子；以及基于修改后的空间速率因子和第二帧样本来将修改后的比特率分配给每个空间层。在另外的实施方式中，所述操作还包括接收来自缩放视频输入信号的第二帧样本；基于指数移动平均值逐帧修改空间速率因子，所述指数移动平均值至少对应于帧样本和第二帧样本；以及基于修改后的空间速率因子为每个空间层分配修改后的比特率。在一些示例中，接收缩放视频输入信号包含接收视频输入信号、将视频输入信号缩放成多个空间层、将每一空间层分割成子块、将每一子块变换成变换系数、以及标量量化对应于每一子块的变换系数。基于来自缩放视频输入信号的帧样本来确定空间速率因子可包含基于视频输入信号的帧的所有变换块上的平均值来确定每一标量量化变换系数的方差估计。在此，每个子块的变换系数可以在所有子块上相同地分布。在一些实施方式中，操作还包括确定空间速率因子满足空间速率因子阈值。在这些实施方式中，当空间速率因子阈值对应的值小于约1.0且大于约0.5时，该值可以满足空间速率因子阈值。空间速率因子可以包括经配置将比特率分配给编码比特流每个层的单个参数。在一些示例中，空间速率因子包括与方差乘积的比率相对应的加权和，其中所述比率包括基于来自第一空间层的标量量化变换系数的估计方差的分子和基于来自第二空间层的标量量化变换系数的估计方差的系数。本专利技术的一个或多个实施方式的细节在附图和以下描述中阐述。根据说明书和附图以及根据权利要求书，其它的方面、特征和优点将是显而易见的。附图说明图1是示例性速率分配系统的示意图。图2是图1的速率分配系统内的示例性编码器的示意图。图3是图1的速率分配系统内的示例性分配器的示意图。图4是用于实现速率分配系统的示例性方法的流程图。图5是可用于实现本文所述的系统和方法的示例性计算设备的示意图。在各个附图中相同的附图标记表示相同的元件。具体实施方式图1是速率分配系统100的示例。速率分配系统100通常包括视频源设备110，其经由网络130将所捕获的视频作为视频输入信号120传送到远程系统140。在远程系统140处，编码器200和分配器300将视频输入信号120转换成编码比特流204。编码比特流204包括一个以上的空间层L0-i，其中i表示空间层L0-i的数量。每个空间层L是编码比特流204的可缩放形式。可缩放视频比特流指的是其中部分比特流可以通过产生子流(例如空间层L)的方式被去除的视频比特流，该子流形成用于某些目标解码器的有效比特流。更具体地讲，子流表示原始视频输入信号120的源内容(例如捕获的视频)，其重构质量低于原始捕获的视频的质量。例如，第一空间层L1具有1280×720的720p高清晰度(HD)分辨率，而基础层L0作为视频图形适配器分辨率(VGA)的扩展形式缩放到640×360的分辨率。在可缩放性方面，通常视频可在时间上(例如通过帧速率)，在空间上(例如通过空间分辨率)和/或在质量上(例如通过保真度，通常被称为信噪比SNR)可缩放。速率分配系统100是示例环境，其中用户10,10a在视频源设备110处捕获视频并将所捕获的视频传送到其它用户10,10b-c。本文档来自技高网...

【技术保护点】
1.一种方法(400)，其特征在于，包括：/n在数据处理硬件(510)处接收对应于缩放视频输入信号(120)的变换系数(226)，所述缩放视频输入信号(120)包括多个空间层(L)，所述多个空间层(L)包括基本层(L

【技术特征摘要】
【国外来华专利技术】20180726 US 62/703,6231.一种方法(400)，其特征在于，包括：
在数据处理硬件(510)处接收对应于缩放视频输入信号(120)的变换系数(226)，所述缩放视频输入信号(120)包括多个空间层(L)，所述多个空间层(L)包括基本层(L0)；
由所述数据处理硬件(510)基于来自所述缩放视频输入信号(120)的帧样本(SF)来确定空间速率因子(332)，所述空间速率因子(332)在从所述缩放视频输入信号(120)形成的编码比特流(204)的每个空间层(L)处定义用于比特率分配的因子，所述空间速率因子(332)由所述基本层(L0)的每个变换系数(226)的比特率和所述多个空间层(L)的每个变换系数(226)的平均比特率(RL)之间的差来表示；和
由所述数据处理硬件(510)，通过基于所述空间速率因子(332)和所述帧样本(SF)将比特率分配给所述每个空间层(L)，来减少所述编码比特流(204)的所述多个空间层(L)的失真。


2.根据权利要求1所述的方法(400)，其特征在于，还包括：
在所述数据处理硬件(510)处，从所述缩放视频输入信号(120)接收第二帧样本(SF)；
由所述数据处理硬件(510)基于来自所述缩放视频输入信号(120)的所述第二帧样本(SF)修改所述空间速率因子(332)；和
由所述数据处理硬件(510)基于修改后的空间速率因子(332)和所述第二帧样本(SF)将修改后的比特率分配给所述每个空间层(L)。


3.根据权利要求1或2所述的方法(400)，其特征在于，还包括：
在所述数据处理硬件(510)处，接收来自所述缩放视频输入信号(120)的第二帧样本(SF)；
由所述数据处理硬件(510)基于指数移动平均值逐帧地修改所述空间速率因子(332)，所述指数移动平均值至少对应于所述帧样本(SF)和所述第二帧样本(SF)；和
由所述数据处理硬件(510)基于所述修改后的速率因子(332)向所述每个空间层(L)分配所述修改后的比特率。


4.根据权利要求1-3中任一项所述的方法(400)，其特征在于，接收所述缩放视频输入信号(120)包括：
接收视频输入信号(120)；
将所述视频输入信号(120)缩放为所述多个空间层(L)；
将所述每个空间层(L)划分为子块；
将所述每个子块变换为所述变换系数(226)；和
标量量化对应于所述每个子块的所述变换系数(226)。


5.根据权利要求4所述的方法(400)，其特征在于，基于来自所述缩放视频输入信号(120)的所述帧样本(SF)来确定所述空间速率因子(332)包括：基于所述视频输入信号(120)的帧的所有变换块的平均值来确定每一缩放器(210)所量化的变换系数(226)的方差估计(322)。


6.根据权利要求4或5所述的方法(400)，其特征在于，所述每个子块的所述变换系数(226)在所有子块上相同地分布。


7.根据权利要求1-6中任一项所述的方法(400)，其特征在于，所述空间速率因子(332)包括：被配置为将所述比特率分配给所述编码比特流(204)的每一层(L)的单个参数。


8.根据权利要求1-7中任一项所述的方法(400)，其特征在于，还包括：由所述数据处理硬件(510)确定所述空间速率因子(332)满足空间速率因子阈值(334)。


9.根据权利要求8所述的方法(400)，其特征在于，当对应于所述空间速率因子阈值(334)的值小于约1.0且大于约0.5时，所述值满足所述空间速率因子阈值(334)。


10.根据权利要求1-9中任一项所述的方法(400)，其特征在于，所述空间速率因子(332)包括加权和，所述加权和对应于方差乘积的比率，所述比率包括基于来自第一空间层(L)的缩放器(210)所量化的变换系数(226)的估计方差的分子和基于来自第二空间层(L)的缩放器(210)所量化的变换系数(226)的估计方差的分母。


11.一种系统(100)，其特征在于，包括：
数据处理硬件(510)；和
存储器硬件(520)，所述存储器硬件(520)与所述数据处理硬件(510)通信，所述存储器硬件(520)存储指令，所述指令在所述数据处...

【专利技术属性】
技术研发人员：迈克尔·霍罗威茨，拉斯马斯·勃兰特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US