【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的候选变换集合的确定
[0001]本专利技术涉及图片和视频编码，具体而言涉及基于区块的图片和视 频编码。该图片可以是静态图像或动态图片序列中的连续顺序的图像。 本专利技术的一些特定示例和实施例涉及用于在视频编码的上下文中利用 用于变换的模式相关的变换候选集合以获得空间域中的相应残差信号 来进行残差编码的统一扩展方案。
技术介绍
[0002]除了如在HEVC(高效率视频编码)中之类的一些标准中采用的 DCT
‑
II及4
×
4DST
‑
VII之外，其他标准，诸如JEM(联合探索测试模 型)，例如可定义两个额外的变换家族。即，自适应多核心变换(AMT) 及模式相关的不可分离次级变换(NSST)。
[0003]2.1自适应多核心变换[1,8][0004]AMT通过来自DCT/DST家族(亦即，DST
‑
VII、DCT
‑
VIII、DST
‑
I 及DCT
‑
V)的变换来扩展用于亮度分量的可用变换集合。如果设定相 应CU层级标志，则AMT适用，否则使用DCT
‑
II。对于经帧间编码 的区块，两个另外的标志分别针对每个水平和竖直变换在DST
‑
VII与 DCT
‑
VIII之间作出决定。如果区块被帧内编码，则取决于帧内预测模 式，来决定哪些变换可用。每个帧内模式映射到三个预定义集合中的 两个。针对每个水平和竖直变换各一个。每个集合由两个...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于所述当前残差区块(84)的变换的变换候选列表(98)，以及使用可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码，并在所述数据流(14)中选择性地用信号通知所述所选变换(102)。2.根据权利要求1所述的编码器，其中所述编码器支持多个区块尺寸，对于每个区块尺寸，所述变换集合(94)包括变换子集，所述变换的域对应于相应区块尺寸，对于所述变换集合(94)中的每个变换，所述编码器支持逆变换，所述逆变换的域与相应变换的陪域一致，且所述编码器使用所述逆变换来填充残差区块处的经解码图片缓冲器，针对所述残差区块已经选择所述相应变换，其中所述编码器被配置为在确定所述变换候选列表(98)时排他地用所述变换子集中的变换来填充所述变换候选列表(98)，所述变换的域对应于所述当前残差区块(84)的高度和宽度。3.根据权利要求1或2所述的编码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第一标准，则用所述变换子集中的一个或多个变换来填充所述变换候选列表(98)，所述一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的陪域小于所述一个或多个变换的域，或如果所述当前残差区块(84)的高度和宽度不满足第一标准，则从所述变换候选列表中排除所述变换子集中的所述一个或多个变换，所述一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的陪域小于所述一个或多个变换的域。4.根据权利要求3所述的编码器，其中所述一个或多个变换是以下中的一个或多个：DCT
‑
II、DST
‑
VII和DCT
‑
III。5.根据权利要求1至4中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第二标准，则用所述变换子集中的恒等变换来填充所述变换候选列表(98)，所述恒等变换的域对应于所述当前残差区块(84)的高度和宽度，或如果所述当前残差区块(84)的高度和宽度不满足第二标准，则从所述变换候选列表中排除所述变换子集中的所述恒等变换，所述恒等变换的域对应于所述当前残差区块(84)的高度和宽度。6.根据权利要求1至5中任一项所述的编码器，被配置为通过检查所述高度、所述宽度、所述高度和所述宽度两者、和/或高度与宽度的乘积是否超出特定阈值来检查所述第一标准和/或所述第二标准。7.根据权利要求1至6中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第三标准，则用所述变换子集中的可分
离频谱分解变换来填充所述变换候选列表(98)，所述可分离频谱分解变换的域对应于所述当前残差区块(84)的大小，或如果所述当前残差区块(84)的高度和宽度不满足第三标准，则从所述变换候选列表(98)中排除所述变换子集中的所述可分离频谱分解变换，所述可分离频谱分解变换的域对应于所述当前残差区块(84)的大小。8.根据权利要求7所述的编码器，被配置为通过检查所述高度与所述宽度的比是否超出特定阈值来检查所述第三标准。9.根据权利要求1至8中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度对应于第一预定区块尺寸，则用所述变换子集中的第一一个或多个变换来填充所述变换候选列表(98)，所述第一一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度且所述第一一个或多个变换是多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第一子群组(112)上的次级变换(110)，或如果所述当前残差区块(84)的高度和宽度对应于第二预定区块尺寸，则用所述变换子集中的第二一个或多个变换来填充所述变换候选列表(98)，所述第二一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度且所述第二一个或多个变换是多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第二子群组(112)上的次级变换(110)，其中将所述第一一个或多个变换的所述初级变换(108)的第一陪域映射到所述第一一个或多个变换的所述初级变换(108)的第二陪域上的缩放不会将所述第一陪域内的所述第一子群组的外周映射到所述第二陪域内的所述第二子群组的外周上。10.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定用于所述当前残差区块(84)的变换的变换候选列表(98)，且通过选择性地从所述数据流(14)导出可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。11.根据权利要求10所述的解码器，其中所述解码器支持多个区块尺寸(96)，针对每个区块尺寸(96)，所述变换集合(94)包括变换子集，所述变换的陪域对应于相应区块尺寸(96)，其中所述解码器被配置为在确定所述变换候选列表(98)时排他地用所述变换子集中的变换来填充所述变换候选列表(98)，所述变换的所述陪域对应于所述当前残差区块(84)的高度和宽度。12.根据权利要求10或11所述的解码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第一标准，则用所述变换子集中的一个
或多个变换来填充所述变换候选列表(98)，所述一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的域小于所述一个或多个变换的陪域，如果所述当前残差区块(84)的高度和宽度不满足第一标准，则从所述变换候选列表(98)中排除所述变换子集中的所述一个或多个变换，所述一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的域小于所述一个或多个变换的域。13.根据权利要求12所述的解码器，其中所述一个或多个变换是以下中的一个或多个：逆DCT
‑
II、逆DST
‑
VII和逆DCT
‑
III。14.根据权利要求10至13中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第二标准，则用所述变换子集中的恒等变换来填充所述变换候选列表(98)，所述恒等变换的陪域对应于所述当前残差区块(84)的高度和宽度，如果所述当前残差区块(84)的高度和宽度不满足第二标准，则从所述变换候选列表(98)中排除所述变换子集中的所述恒等变换，所述恒等变换的陪域对应于所述当前残差区块(84)的高度和宽度。15.根据权利要求10至14中任一项所述的解码器，被配置为通过检查所述高度、所述宽度、所述高度和所述宽度两者，和/或高度与宽度的乘积是否超出特定阈值来检查所述第一标准和/或所述第二标准。16.根据权利要求10至15中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度满足第三标准，则用所述变换子集中的可分离频谱分解变换来填充所述变换候选列表(98)，所述可分离频谱分解变换的陪域对应于所述当前残差区块(84)的大小，或如果所述当前残差区块(84)的高度和宽度不满足第三标准，则从所述变换候选列表(98)中排除所述变换子集中的所述可分离频谱分解变换，所述可分离频谱分解变换的陪域对应于所述当前残差区块(84)的大小。17.根据权利要求16所述的解码器，被配置为通过检查所述高度与所述宽度的比是否超出特定阈值来检查所述第三标准。18.根据权利要求10至17中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：如果所述当前残差区块(84)的高度和宽度对应于第一预定区块尺寸，则用所述变换子集中的第一一个或多个变换来填充所述变换候选列表(98)，所述第一一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度且第一一个或多个变换反转多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第一子群组(112)上的次级变换(110)，或如果所述当前残差区块(84)的高度和宽度对应于第二预定区块尺寸，则用所述变换子集中的第二一个或多个变换来填充所述变换候选列表(98)，所述第二一个或多个变换的陪
域对应于所述当前残差区块(84)的高度和宽度且第二一个或多个变换反转多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第二子群组(112)上的次级变换(110)，其中将所述第一一个或多个变换的所述初级变换(108)的第一陪域映射到所述第一一个或多个变换的所述初级变换(108)的第二陪域上的缩放不会将所述第一陪域内的所述第一子群组的外周映射到所述第二陪域内的所述第二子群组的外周上。19.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于当前残差区块(84)的变换的变换候选列表(98)，及使用可选变换列表(98)中的一个所选变换(102)对所述残差区块内(84)的预测残差(100)进行编码，并在所述数据流(14)中选择性地用信号通知所述所选变换(102)。20.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于所述当前残差区块(84)的变换的变换候选列表(98)，及通过选择性地从所述数据流(14)导出可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。21.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；使用所述可选变换列表(98)中的一个所选变换(102)将变换系数数据(126)编码到所述数据流(14)中，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；以取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分的方式，在所述数据流(14)中用信号通知(128)所选变换(102)，和/或执行对所述可选列表(98)的确定。22.根据权利要求21所述的编码器，被配置为通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，数量取决于所述变换系数数据(126)或所述变换系数数据(126)的一部分，以使得所述数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。23.根据权利要求21所述的编码器，被配置为通过取决于所述变换系数数据(126)或所述变换系数数据(126)的一部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，
使用可变长度码在所述数据流(14)中执行用信号通知(128)所选变换(102)，所述可变长度码的码字取决于所述可选变换列表(98)中的变换的顺序而指派给所述可选变换列表(98)中的变换。24.根据权利要求22或23所述的编码器，被配置为使得所述变换系数数据(126)包括所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；其中所述确定(130)取决于所述指示。25.根据权利要求24所述的编码器，被配置为在所述数据流(14)中用信号通知所选变换(102)之前将所述指示的粗糙版本编码到所述数据流(14)中，其中所述确定(130)取决于所述指示的所述粗糙版本，以及在所述用信号通知之后且取决于所选变换(102)，将所述指示的粗糙版本的细化编码到所述数据流(14)中。26.根据权利要求25所述的编码器，被配置为将提示编码为所述粗糙版本，所述提示揭示所述有效变换系数位置(132)是否在变换系数(134)的子群组(138)内，以及将相对位置信息编码为所述细化，所述相对位置信息在所述有效变换系数位置(132)处于所述子群组(138)内的情况下判别在所述子群组(138)内的位置当中的所述有效变换系数位置(132)，并在所述有效变换系数位置(132)在所述子群组(138)之外的情况下判别在所述子群组(138)之外的位置当中的所述有效变换系数位置(132)。27.根据权利要求26所述的编码器，其中所述编码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，确定可选列表(98)以包括至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，确定可选列表(98)以便不包括所述至少一个多级变换(106)。28.根据权利要求27所述的编码器，其中所述编码器被配置为使用可变长度编码VLC以以下方式来编码所述相对位置信息：在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用与所述子群组(138)内的系数的数量相对应的第一最大数量的代码来进行编码，和/或在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，使用与所述子群组(138)之外的系数的数量相对应的第二最大数量的代码来进行编码。29.根据权利要求26至28中任一项所述的编码器，其中所述编码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，在所述粗糙版本之后且在所述细化之前编码次级变换指示符，所述次级变换指示符指示所选变换是否在所述至少一个多级变换(106)当中和/或所述至少一个多级变换(106)当中的哪个是所选变换。
30.根据权利要求26至29中任一项所述的编码器，其中所述编码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用取决于所述次级变换指示符的上下文以便对所述子群组(138)内的所述变换系数进行上下文自适应熵编码。31.根据权利要求29或30所述的编码器，其中所述编码器被配置为在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，对在所述子群组(138)之内和之外的变换系数进行上下文自适应熵编码。32.根据权利要求21至31中任一项所述的编码器，被配置为对所选变换(102)的有效变换系数(134)的数量进行计数；其中所述可选列表(98)的确定(130)取决于所述计数。33.根据权利要求21至32中任一项所述的编码器，被配置为关于所选变换(102)的所述变换系数(134)的子群组(138)内的所选变换(102)的有效变换系数的数量是否超出特定阈值，来评估所述变换系数数据(126)；执行取决于所述计数的所述确定(130)，使得如果数量大于所述特定阈值，则用至少一个多级变换(106)来填充用于所述当前残差区块(84)的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及如果数量小于所述特定阈值，则不用任何多级变换(106)来填充用于当前残差区块(84)的所述可选变换列表(98)，所述多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数(114)的所述子群组(138)上的次级变换。34.根据权利要求21至33中任一项所述的编码器，被配置为确定所述变换候选列表(98)，使得所述变换候选列表(98)中的变换在陪域中一致。35.根据权利要求21至34中任一项所述的编码器，其中所述变换候选列表(98)中的所述变换包括第一变换和第二变换，所述第一变换和所述第二变换在陪域中一致，其中所述第二变换对应于被应用至所述第一变换(108)的初级变换系数(114)的子群组(112)上的次级变换，其中在所述第一变换(108)的初级变换系数的所述子群组(112)之外的所述第一变换(108)的其他初级变换系数(114)被设定为零。36.根据权利要求35所述的编码器，被配置为通过将在所述第一变换(108)的初级变换系数的所述子群组(112)之外的所述第一变换(108)的其他初级变换系数(114)设定为零，关于所述第二变换对所述当前残差区块(84)进行测试编码。37.根据权利要求21至36中任一项所述的编码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于有效变换系数根据所述变换系数数据(126)而定位的位置，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。38.根据权利要求21至37中任一项所述的编码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或取决于根据所述变换系数数据(126)在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。39.根据权利要求21至38中任一项所述的编码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或取决于根据所述变换系数数据(126)在所述子群组(112)内但在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。40.根据权利要求21至39中任一项所述的编码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所述多级变换(106)的变换系数(134)的次级变换(110)，所述变换系数(134)的数量低于所述当前残差区块(84)的所述预测残差(100)内的残差样本(105)的数量，且其变换系数位置对应于所述变换候选列表(98)中的等效于所述初级变换(108)的另一变换的变换系数(134)的子集(138)，其中所述初级变换(108)的所述初级变换系数(114)的数量大于所述多级变换(106)的所述变换系数(134)的数量，或取决于以下方式决定所述至少一个多级变换(106)将相对于所述另一变换被放置在所述变换候选列表(98)中的位置：有效变换系数根据所述变换系数数据(126)而定位的位置，或根据所述变换系数数据(126)有效变换系数是否定位在变换系数的所述子群组(138)外，或根据所述变换系数数据(126)有效变换系数是否定位在初级变换系数(114)的所述子群组(112)外。41.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数数据(126)，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的一部分的方式，从所述数据流(14)导出(128)所选变换(102)，和/或执行对所述可选列表(98)的所述确定(130)。42.根据权利要求41所述的解码器，被配置为通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，所述数量取决于所述变换系数数据(126)或取决于所述变换系数数据的一部分，以使得所述数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。43.根据权利要求41所述的解码器，被配置为通过取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，使用可变长度码在所述数据流(14)中执行用信号通知(128)所选变换(102)，所述可变长度码的码字取决于所述可选变换列表(98)中的所述变换的顺序而指派给所述可选变换列表(98)中的变换。44.根据权利要求42或43所述的解码器，被配置为使得所述变换系数数据(126)包括所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；其中所述确定(130)取决于所述指示。45.根据权利要求44所述的解码器，被配置为在从所述数据流(14)导出所选变换(102)之前从所述数据流(14)解码所述指示的粗糙版本，其中所述确定(130)取决于所述指示的所述粗糙版本，以及在所述导出之后且取决于所选变换(102)，从所述数据流(14)解码所述指示的所述粗糙版本的细化。46.根据权利要求45所述的解码器，被配置为将提示解码为所述粗糙版本，所述提示揭示所述有效变换系数位置(132)是否在变换系数(134)的子群组(138)内，以及将相对位置信息解码为所述细化，所述相对位置信息在所述有效变换系数位置(132)处于所述子群组(138)内的情况下判别在所述子群组(138)内的位置当中的所述有效变换系数位置(132)，并在所述有效变换系数位置(132)在所述子群组(138)之外的情况下判别在所述子群组(138)之外的位置当中的所述有效变换系数位置(132)。47.根据权利要求46所述的解码器，其中所述解码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，确定所述可选列表(98)以包括至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换
(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，及在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，确定所述可选列表(98)以便不包括所述至少一个多级变换(106)。48.根据权利要求47所述的解码器，其中所述解码器被配置为使用可变长度编码VLC以以下方式来解码所述相对位置信息：在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用与所述子群组(138)内的系数的数量相对应的第一最大数量的代码来进行解码，和/或在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，使用与所述子群组(138)之外的系数的数量相对应的第二最大数量的代码来进行解码。49.根据权利要求46至48中任一项所述的解码器，其中所述解码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，在所述粗糙版本之后但在所述细化之前解码次级变换指示符，所述次级变换指示符指示所选变换是否在所述至少一个多级变换(106)当中和/或所述至少一个多级变换(106)当中的哪个是所选变换。50.根据权利要求46至49中任一项所述的解码器，其中所述解码器被配置为在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用取决于所述次级变换指示符的上下文以便对所述子群组(138)内的所述变换系数进行上下文自适应熵解码。51.根据权利要求49或50的解码器，其中所述解码器被配置为在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，对在所述子群组(138)之内和之外的变换系数进行上下文自适应熵解码。52.根据权利要求41至51中任一项所述的解码器，被配置为对所选变换(102)的有效变换系数(134)的数量进行计数；其中所述确定(130)取决于所述计数。53.根据权利要求41至52所述的解码器，被配置为关于所选变换(102)的所述变换系数(134)的子群组(138)内的所选变换(106)的有效变换系数(134)的数量是否超出特定阈值，来评估所述变换系数数据(126)；执行取决于所述计数的所述确定(130)，使得如果数量大于所述特定阈值，则用至少一个多级变换(106)来填充用于所述当前残差区块(84)的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及如果数量小于所述特定阈值，则不用任何多级变换(106)来填充用于当前残差区块(84)的所述可选变换列表(98)，所述多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的所述子群组(138)上的次级变换。54.根据权利要求41至53中任一项所述的编码器，被配置为确定变换候选列表(98)，使
得所述变换候选列表(98)中的变换在陪域中一致。55.根据权利要求41至54中任一项所述的解码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或取决于有效变换系数根据所述变换系数数据(126)而定位的位置，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。56.根据权利要求41至55中任一项所述的解码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或取决于根据所述变换系数数据(126)在所述变换系数的所述子群组(112)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。57.根据权利要求41至56中任一项所述的解码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或取决于根据所述变换系数数据(126)在所述子群组(112)内但在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。58.根据权利要求41至57中任一项所述的解码器，被配置为决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所述多级变换(106)的变换系数(134)的次级变换(110)，所述变换系数(134)的数量低于所述当前残差区块(84)的所述预测残差(100)内的残差样本(105)的数量，且其变换系数位置对应于所述变换候选列表(98)中的等效于所述初级变换(108)的另一变换的变换系数(134)的子集(138)，其中所述初级变换(108)的所述初级变换系数(114)的数量大于所述多级变换(106)的所述变换系数(134)的数量，或取决于以下方式决定所述至少一个多级变换(106)将相对于所述另一变换被放置在所述变换候选列表(98)中的位置：
根据所述变换系数数据(126)有效变换系数定位的位置，或根据所述变换系数数据(126)有效变换系数是否定位在变换系数的所述子群组(138)外，或根据所述变换系数数据(126)有效变换系数是否定位在初级变换系数(114)的所述子群组(112)外。59.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；使用所述可选变换列表(98)中的一个所选变换(102)将变换系数数据(126)编码到所述数据流(14)中，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；以取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分的方式，在所述数据流(14)中用信号通知(128)所选变换(102)，和/或执行对所述可选列表(98)的所述确定(130)。60.一种用于使用基于区块的预测和基于区块的残差解码从数据流中(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数数据(126)，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的一部分的方式，从所述数据流(14)导出(128)所选变换，和/或执行对所述可选列表(98)的所述确定(130)。61.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；在所述数据流(14)中用信号通知(128)所选变换，以取决于所选变换(102)或所述可选变换列表(98)的方式，使用所述可选变换列表(98)中的一个所选变换(102)来编码(140)变换系数(134)，所述变换系数(134)表示所述残差区块(84)内的预测残差(100)。62.根据权利要求61所述的编码器，其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，且其中所述编码器被配置为以使得所选变换(102)的变换系数(134)的数量愈低则在所述数据流(14)中针对所述变换系数(134)的所述编码所花费的码率愈低的方式执行所述变换系数(134)的所述编码。63.根据权利要求61或62所述的编码器，其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，其中所述变换系数(134)的所述编码包括编码所选变换(102)的有效变换系数位置
(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；其中所述编码器被配置为以实现以下的方式来编码所述变换系数(134)：所选变换(102)的变换系数(134)的数量愈低则在所述数据流(14)中用于所述指示的所述编码所花费的码率愈低。64.根据权利要求61或62所述的编码器，其中所述可选变换列表(98)包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，其中所述变换系数(134)的编码包括：在所选变换(102)的变换系数(134)的数量为所述第二数量的情况下，编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；在所选变换(102)的变换系数(134)的数量为所述第一数量的情况下，编码所选变换(102)的全部的所述第一数量的变换系数(134)的值。65.根据权利要求61至64中任一项所述的编码器，其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中对于所述至少一个多级变换中的不同的多级变换，所述子群组(138)有所不同，其中所述编码器被配置为通过以下操作来编码所述变换系数(134)：编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换为多级变换，则所述指示包括表示所述有效变换系数位置(132)是否在变换系数(134)的所述子群组(138)内的标志，且如果所述变换系数位置在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数位置不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或如果所选变换是多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行编码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
66.根据权利要求61至65中任一项所述的编码器，其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中所述可选列表(98)包括仅初级变换类型的至少一个变换，其中所述编码器被配置为通过以下操作来编码所述变换系数(134)：编码所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中在所选变换是所述仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置，或在所选变换为多级变换(106)的情况下，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置，和/或编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数(134)的所述子群组(138)内的标志，且如果所述变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数位置(132)不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或如果所选变换(102)为多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行编码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。67.根据权利要求61至66中任一项所述的编码器，被配置为通过使用二值化和二进制熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，其中用于二进制熵编码的概率估计取决于所选变换(102)，和/或其中所述二值化取决于所选变换(102)。68.根据权利要求66或67所述的编码器，其中对所选变换(102)的依赖性是对所选变换(102)是否为多级变换的依赖性。69.根据权利要求61至68中任一项所述的编码器，被配置为使用索引来用信号通知所选变换(102)，
通过使用二值化和二进制熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，其中用于二进制熵编码的概率估计取决于所述索引，和/或其中所述二值化取决于所述索引。70.根据权利要求69所述的编码器，其中所述索引为可变长度码VLC索引。71.根据权利要求61至70中任一项所述的编码器，被配置为通过使用熵编码对所选变换的变换系数(134)的值进行编码来编码所述变换系数(134)，其中以取决于所选变换(102)的方式，所述熵编码取决于一个或多个相邻变换系数。72.根据权利要求71所述的编码器，被配置为通过使用熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，所述熵编码通过以下进行：以取决于所选变换(102)中的所述变换系数的位置的方式来选择一个或多个相邻变换系数(134)的局部模板，使用所述一个或相邻变换系数的可能值的域到用于所述变换系数的一个或多个上下文的集合的映射来确定用于所述变换系数(134)的所选上下文，使用与所选上下文相关联的概率估计对所述变换系数(134)的值进行熵编码，其中所述局部模板的所述选择和所述映射中的至少一个取决于所选变换(102)。73.根据权利要求72所述的编码器，被配置为使用二进制熵编码所述值的二值化，来执行对所选变换(102)的所述变换系数(134)的值的所述编码，其中与所选上下文相关联的所述概率估计被用于指示所述值是否为零的所述二值化的数段。74.根据权利要求61至73中任一项所述的编码器，被配置为以实现以下方式在所述数据流(14)中执行用信号通知所选变换(134)：用信号通知所选变换(102)的信令关于所述变换系数数据(126)的相对定位，和/或所述信令至语法元素的分解取决于所述可选变换列表(98)。75.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：从所述变换集合(94)确定用于当前残差区块(84)的可选变换列表(98)；从所述数据流(14)导出(128)所选变换，以取决于所述可选变换列表(98)中的所选变换(102)或取决于所述可选变换列表(98)的方式，使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数(134)，所述变换系数(134)表示所述残差区块(84)内的预测残差(100)。76.根据权利要求75所述的解码器，其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，以使得所选变换(102)的变换系数(134)的数量愈低，则在所述数据流(14)中针对所述变换系数(134)所花费的码率愈低的方式执行所述变换系数(134)的所述解码。77.根据权利要求75或76所述的解码器，
其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，其中所述变换系数的所述解码包括解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；其中所述解码器被配置为以实现以下的方式解码所述变换系数(134)：所选变换(102)的变换系数(134)的数量愈低，在所述数据流(14)中针对所述指示所花费的码率愈低。78.根据权利要求75或76所述的解码器，其中所述可选变换列表(98)包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，其中所述变换系数(134)的所述解码包括：在所选变换(102)的变换系数(134)的数量为所述第二数量的情况下，解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；或在所选变换(102)的变换系数(134)的数量为所述第一数量的情况下，解码所选变换(102)的全部的所述第一数量的变换系数(134)的值。79.根据权利要求75至78中任一项所述的解码器，其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中对于所述至少一个多级变换中的不同的多级变换，所述子群组(138)有所不同，其中所述解码器被配置为通过以下操作来解码所述变换系数(134)：解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数(134的所述子群组(138)内的标志，且如果所述有效变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数(134)位置不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或如果所选变换(102)是多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行解码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方
式，对所述所选变换(102)的变换系数(134)的值进行解码，其中所述概率估计取决于一个或多个相邻变换系数。80.根据权利要求75至79中任一项所述的解码器，其中所述可选变换列表(98)包括至少一个多级变换，每个包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中所述可选列表(98)包括仅初级变换类型的至少一个变换，其中所述解码器被配置为通过以下操作来解码所述变换系数(134)：解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置(134)的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中在所选变换(102)是所述仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置，或在所选变换(102)为多级变换(106)的情况下，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置，和/或解码所选变换的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数的所述子群组(138)内的标志，且如果所述有效变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述有效变换系数位置(132)不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定...
【专利技术属性】
技术研发人员：米沙，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。