视频比特流中编解码信息的信令通知制造技术

描述了用于处理视频的方法、设备和系统。一种示例方法包括执行视频的视频区域和视频的比特流之间的转换，其中，比特流符合格式规则，并且其中，格式规则规定，在比特流中在视频条带级别和/或在视频图片级别指示关于工具对于转换的适用性的信息，并且其中，工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。值应用缩放操作。值应用缩放操作。

【技术实现步骤摘要】
【国外来华专利技术】视频比特流中编解码信息的信令通知
[0001]相关申请的交叉引用
[0002]根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2020年2月14日提交的国际专利申请号PCT/CN2020/075216的优先权和利益。出于法律上的所有目的，将前述申请的全部公开以引用方式并入本文，作为本申请公开的一部分。


[0003]本专利文档涉及图像和视频编码和解码。

技术介绍

[0004]数字视频在互联网和其他数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]本文件公开了由视频编码器和解码器处理所使用的使用对解码编解码表示有用的控制信息处理视频的编解码表示的技术。
[0006]在一个示例方面，公开了一种视频处理方法。该方法包括：执行包括视频单元的视频和视频的比特流之间的转换，其中，比特流符合格式规则，并且其中，格式规则规定，响应于视频单元是否或如何被分割成片，指示环路滤波操作是否跨片边界执行的第一语法元素被选择性地包括在比特流中。
[0007]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频单元和视频的比特流之间的转换，其中，比特流符合格式规则，并且其中，格式规则规定，响应于视频单元是否或如何被分割成条带，指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在比特流中。
[0008]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和视频的比特流之间的转换，其中，比特流符合格式规则，并且其中，格式规则规定，在视频条带级别和/或在视频图片级别的比特流中指示关于工具对于转换的适用性的信息，并且其中，工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。
[0009]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和视频的比特流之间的转换，其中，转换符合尺寸规则，并且其中，尺寸规则规定，使用变换跳过(TS)编解码方案或者基于块的增量脉冲编解码调制(BDPCM)编解码方案编解码的视频区域的最大尺寸，或者用于根据视频区域的编解码特性的视频区域的变换块的最大尺寸。
[0010]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和视频的比特流之间的转换，其中，比特流符合格式规则，格式规则规定，在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括最大允许变换块的尺寸。
[0011]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和视频的比特流之间的转换，其中，比特流符合格式规则，格式规则规定，在转换期间使用的
最小允许编解码块尺寸控制是否和/或如何在比特流中包括用于使用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案进行编码或解码的视频区域的最大尺寸的指示。
[0012]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频单元和视频的比特流之间的转换，其中，比特流符合格式规则，格式规则规定，在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括指示启用或禁用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案的字段。
[0013]在另一示例方面，公开了一种视频处理方法。该方法包括：根据格式规则执行视频的视频单元和视频的比特流之间的转换，其中，比特流符合格式规则，格式规则规定，在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流的视频区域级别中包括携带关于编解码工具的适用性的信息的字段。
[0014]在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频区域和视频的比特流之间的转换，由于对视频区域启用了双树编解码方案，确定用于视频的亮度分量和色度分量的划分方案具有不同的最小允许块尺寸，以及基于确定执行转换。
[0015]在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频区域和视频的比特流之间的转换，基于规则确定视频区域允许的基于子块的合并候选的最大数量；以及基于确定执行转换，其中，规则规定，在转换期间使用的基于子块的合并候选的最大数量推导为第一变量和第二变量的和，其中，响应于仿射预测被禁用，第一变量等于零，并且其中，第二变量基于是否启用基于子块的时域运动矢量预测(sbTMVP)。
[0016]在另一示例方面，公开了一种视频处理方法。该方法包括：通过符合处理规则而执行视频的视频区域和视频区域的比特流之间的转换，其中，由于视频是4:2:2视频或4:4:4视频，处理规则适用于转换，其中，处理规则定义色度和亮度对齐以下一个或多个：(a)自适应环路滤波器(ALF)操作的虚拟边界和编解码树块(CTB)的底边界之间的像素行的数量；或者(b)用于ALF操作的虚拟边界和CTB的底边界之间的行的滤波器的滤波强度；或者(c)用于在同一行中填充亮度和色度样点的填充方法。
[0017]在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频单元和视频的编解码表示之间的转换，确定视频单元的跨视频区域的环内滤波的适用性的指示是否被包括在编解码表示中；以及基于确定执行转换。
[0018]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和视频的编解码表示之间的转换，其中，编解码表示符合格式规则，其中，格式规则规定，关于亮度映射与色度缩放(LMCS)工具对转换的适用性的信息被在视频条带级别在编解码表示中指示；其中，LMCS工具包括在转换期间基于第一域和第二域来构造当前视频块，和/或以亮度相关的方式缩放色度残差。
[0019]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频和视频的编解码表示之间的转换，其中，转换符合尺寸规则，尺寸规则规定：在编码期间，对使用变换跳过编解码方案或增量脉冲编解码调制编解码方案编解码的视频区域的最大尺寸强制执行尺寸规则，或在解码期间，通过对使用变换跳过解码方案或增量脉冲编解码调制解码方案解码的视频区域的最大尺寸强制执行尺寸规则，解析和解码编解码表示。
[0020]在另一示例方面，公开了一种视频处理方法。该方法包括：执行视频的视频区域和
视频的编解码表示之间的转换，其中，编解码表示符合格式规则，格式规则规定，在转换期间使用的最小允许变换块尺寸控制最大允许变换块尺寸是否或如何包括在编解码表示中的指示。
[0021]在另一示例方面，公开了一种视频处理方法。该方法包括：根据格式规则执行视频的视频单元和视频的编解码表示之间的转换，其中，编解码表示符合格式规则，格式规则规定，在转换期间使用的最小允许编解码块尺寸控制是否在视频区域级别中包括携带关于编解码工具的适用性的信息的字段。
[0022]在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频区域和视频的编解码表示之间的转换，由于使用用于转换的双树编解码，确定用于视频亮度分本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，包括：执行视频的视频区域和所述视频的比特流之间的转换，其中，所述比特流符合格式规则，并且其中，所述格式规则规定，在比特流中在视频条带级别和/或在视频图片级别指示关于工具对于所述转换的适用性的信息，并且其中，所述工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。2.根据权利要求1所述的方法，其中，所述格式规则规定，关于所述工具的适用性的所述信息包括是否启用所述工具的第一指示。3.根据权利要求1所述的方法，其中，所述格式规则规定，关于所述工具的适用性的所述信息包括参数的第二指示，并且其中，所述参数包括用于在所述视频图片级别的所述工具的自适应参数集APS的标识符，和/或指示是否在所述视频图片级别中启用色度残差缩放的值。4.根据权利要求1所述的方法，其中，所述格式规则规定，在所述视频条带级别和所述视频图片级别两者都指示关于所述工具的适用性的所述信息。5.根据权利要求1所述的方法，其中，所述格式规则规定，在所述视频条带级别和所述视频图片级别两者都指示关于所述工具的适用性的所述信息，并且其中，被包括在所述视频图片级别中时的关于所述工具的适用性的先前信息被用被包括在所述视频条带级别中时的关于所述工具的适用性的所述信息覆盖。6.根据权利要求1所述的方法，其中，所述格式规则规定，在所述视频条带级别或所述视频图片级别中指示关于所述工具的适用性的所述信息。7.根据权利要求1所述的方法，其中，所述格式规则规定，在所述视频条带级别中指示关于所述工具的适用性的所述信息，以指示用于所述视频区域的当前条带的是哪个自适应参数集APS。8.根据权利要求1
‑
3任一所述的方法，其中，所述格式规则规定，所述比特流包括语法元素，所述语法元素在序列参数集SPS或在图片参数集PPS中，以指示是否在所述视频条带级别或所述视频图片级别指示关于所述工具的适用性的所述信息。9.根据权利要求8所述的方法，其中，所述语法元素仅控制第一指示。10.根据权利要求8所述的方法，其中，所述语法元素仅控制第二指示。11.根据权利要求8所述的方法，其中，所述语法元素控制第一指示和第二指示。12.根据权利要求1所述的方法，其中，所述格式规则规定，响应于所述信息不存在于图片标头中，在具有默认值的所述图片标头的语法元素中指示关于所述工具的适用性的所述信息。13.根据权利要求1所述的方法，其中，所述格式规则规定，响应于所述信息不存在于条带标头中，在具有默认值的所述条带标头的语法元素中指示关于所述工具的适用性的所述信息。14.根据权利要求1所述的方法，
其中，所述格式规则规定，在条带标头的语法元素中指示关于所述工具的适用性的所述信息，其中，所述格式规则规定，所述语法元素具有在图片标头中指示关于所述工具的适用性的所述信息的对应语法元素的值，并且其中，所述格式规则规定，响应于所述信息不存在于所述条带标头中，所述语法元素具有所述对应语法元素的所述值。15.根据权利要求1所述的方法，其中，所述格式规则规定，响应于与图片标头关联的条带参考多个自适应参数集(APS)标识符，在所述图片标头中指示启用工具的APS的多个APS标识符。16.根据权利要求15所述的方法，其中，所述多个APS标识符的列表的长度取决于在图片中的所述条带的数量。17.根据权利要求15所述的方法，其中，所述格式规则规定，语法元素被包括在条带标头中，并且其中，所述语法元素指示要用于当前条带的是来自所述多个APS中的哪个启用工具的APS。18.根据权利要求1
‑
17任一所述的方法，其中，当所述工具被启用时，在所述视频区域来自亮度分量的情况下，所述工具执行所述视频区域的重整形域的样点和原始域的样点之间的转换，或者其中，当所述工具被启用时，在所述视频区域来自色度分量的情况下，所述工具执行所述视频区域的色度残差的缩放。19.一种视频处理方法，包括：执行视频的视频区域和所述视频的比特流之间的转换，其中，所述转换符合尺寸规则，并且其中，所述尺寸规则规定，使用变换跳过TS编解码方案或者基于块的增量脉冲编解码调制BDPCM编解码方案编解码的所述视频区域的最大尺寸，或者根据所述视频区域的编解码特性的所述视频区域的变换块的最大尺寸。20.根据权利要求19所述的方法，其中，所述尺寸规则规定，所述视频区域的所述最大尺寸小于或等于编解码数块(CTB)尺寸。21.根据权利要求20所述的方法，其中，所述尺寸规则规定，用于亮度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许宽度和高度小于或等于所述CTB尺寸。22.根据权利要求20所述的方法，其中，所述尺寸规则规定，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许宽度和高度小于或等于所述CTB尺寸除以subWidthC和/或所述CTB尺寸除以subHeightC，其中，所述subWidthC和所述subHeightC取决于所述视频的色度格式。23.根据权利要求20所述的方法，其中，所述尺寸规则规定，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许宽度小于或等于所述CTB尺寸除以subWidthC和/或所述CTB尺寸除以subHeightC。24.根据权利要求20所述的方法，其中，所述尺寸规则规定，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许高度小于或等于所述CTB尺寸除以subWidthC和/或所述CTB尺寸除以subHeightC。
25.根据权利要求20所述的方法，其中，第一值等于log2_transform_skip_max_size_minus2加2，其中，所述第一值小于或等于用于CtbLog2SizeY的第二值，并且其中，log2_transform_skip_max_size_minus2加2等于用于所述TS编码方案或用于所述TS解码方案的最大块尺寸的log2。26.根据权利要求20所述的方法，其中，描述log2_transform_skip_max_size_minus2的最大值的第一值等于CtbLog2SizeY的第二值减2，其中，log2_transform_skip_max_size_minus2加2等于用于所述TS编码方案或用于所述TS解码方案的最大块尺寸的log2。27.根据权利要求20所述的方法，其中，所述尺寸规则规定，作为变换跳过块的所述视频区域的所述最大尺寸是(CtbSizeY,1<<(log2_transform_skip_max_size_minus2+2))的最小值，其中，<<表示左移操作，其中，CtbSizeY是所述CTB尺寸，并且其中，log2_transform_skip_max_size_minus2加2等于用于所述TS编码方案或用于所述TS解码方案的最大块尺寸的log2。28.根据权利要求20所述的方法，其中，所述尺寸规则规定，作为变换跳过块的所述视频区域的所述最大尺寸是1<<Min(log2_transform_skip_max_size_minus2+2,CtbLog2SizeY)，其中，<<表示左移操作，其中，CtbSizeY是所述CTB尺寸，并且其中，log2_transform_skip_max_size_minus2加2等于用于所述TS编码方案或用于所述TS解码方案的最大块尺寸的log2。29.根据权利要求20所述的方法，其中，所述尺寸规则规定，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大尺寸小于或等于用于所述色度块的最大变换块的尺寸。30.根据权利要求29所述的方法，其中，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许宽度和高度小于或等于用于亮度块的最大变换块的尺寸除以SubWidthC。31.根据权利要求29所述的方法，其中，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许宽度小于或等于用于亮度块的最大变换块的尺寸除以SubWidthC。32.根据权利要求29所述的方法，其中，用于色度块的用于所述TS编码或解码方案和/或用于所述BDPCM编码或解码方案的最大允许高度小于或等于用于亮度块的最大变换块的尺寸除以subHeightC。33.根据权利要求20所述的方法，其中，所述尺寸规则规定，在所述比特流中用二进制语法元素指示作为变换跳过块的所述视频区域的最大尺寸。34.根据权利要求19所述的方法，其中所述尺寸规则规定，作为变换跳过块的所述视频区域的所述最大尺寸和/或最大允许变换块尺寸大于或等于最小编解码块的尺寸。35.一种视频处理方法，包括：执行视频的视频区域和所述视频的比特流之间的转换，
其中，所述比特流符合格式规则，所述格式规则规定，在所述转换期间使用的最小允许编解码块尺寸控制是否和/或如何在所述比特流中包括最大允许变换块尺寸。36.根据权利要求35所述的方法，其中，所述格式规则规定，最小允许变换块尺寸大于或等于所述最小允许编解码块尺寸。37.根据权利要求35所述的方法，其中，响应于所述最小允许编解码块尺寸等于64，包括在所述比特流中的sps_max_luma_transform_size_64_flag的值等于1。38.根据权利要求35所述的方法，其中，响应于所述最小允许编解码块尺寸等于64，sps_max_luma_transform_size_64_flag的值不包括在所述比特流中且被推断为等于1。39.一种视频处理方法，包括：执行视频的视频区域和所述视频的比特流之间的转换，其中，所述比特流符合格式规则，所述格式规则规定，在所述转换期间使用的最小允许编解码块尺寸控制是否和/或如何在所述比特流中包括用于使用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案进行编码或解码的视频区域的最大尺寸的指示。40.根据权利要求39所述的方法，其中，所述格式规则规定，所述视频区域的所述最大尺寸大于或等于所述最小允许编解码块尺寸。41.根据权利要求39所述的方法，其中，所述格式规则规定，所述视频区域的所述最大尺寸小于或等于W，其中，W是整数。42.根据权利要求41所述的方法，其中，W是32。43.根据权利要求41所述的方法，其中，所述格式规则规定，所述视频区域的所述最大尺寸大于或等于所述最小允许编解码块尺寸，其中，所述格式规则规定，所述视频区域的所述最大尺寸小于或等于W。44.根据权利要求41所述的方法，其中，所述格式规则规定，当启用所述TS方案和/或所述BDPCM方案时，最小允许编解码块尺寸小于或等于X。45.根据权利要求39所述的方法，其中，所述格式规则规定，当启用所述TS方案和/或所述BDPCM方案时，所述视频区域的所述最大尺寸大于或等于所述最小允许编解码块尺寸。46.根据权利要求39所述的方法，其中，所述格式规则规定，当启用所述TS方案时，所述最大尺寸的log2大于或等于最小亮度编解码块的尺寸的log2。47.根据权利要求39所述的方法，其中，所述格式规则规定，所述视频区域的所述最大尺寸是所述最大尺寸或所述最小允许编解码块尺寸中的最大值。48.根据权利要求47所述的方法，其中，所述格式规则规定，所述视频区域的所述最大尺寸是第一值和第二值中的最小值，其中，所述第一值是整数W，并且其中，所述第二值是所述最大尺寸或所述最小允许编解码块尺寸中的所述最大值。49.根据权利要求39所述的方法，其中，所述格式规则规定，当启用所述TS方案和/或所述BDPCM方案时，所述视频区域的所述最大尺寸是所述最大尺寸或所述最小允许编解码块尺寸中的最大值。50.根据权利要求49所述的方法，其中，所述格式规则规定，当启用所述TS方案和/或所述BDPCM方案时，所述视频区域的
所述最大尺寸是第一值和第二值中的最小值，其中，所述第一值是整数W，并且其中，所述第二值是所述最大尺寸或所述最小允许编解码块尺寸中的所述最大值。51.根据权利要求39所述的方法，其中，所述格式规则规定，基于所述最小允许编解码块尺寸，所述视频区域的所述最大尺寸包括在所述比特流中。52.根据权利要求51所述的方法，其中，所述格式规则规定，通过将所述视频区域的所述最大尺寸的log 2和所述最小允许编解码块尺寸的log 2之间的差包括在所述比特流中来指示所述视频区域的所述最大尺寸。53.根据权利要求52所述的方法，其中，所述格式规则规定：MaxTsSize＝1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_codi ng_block)，其中，<<表示左移操作，其中，MaxTsSize是所述视频区域的所述最大尺寸，其中，MinCbLog2SizeY是最小编解码单元尺寸的log 2，并且其中，log2_diff_max_trasform_skip_min_coding_block是所述比特流中所述视频区域的所述最大尺寸和所述最小允许编解码块尺寸之间的差的log2。54.根据权利要求52所述的方法，其中，所述格式规则规定：MaxTsSize＝min(W,1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_coding_block))，其中，<<表示左移操作，其中，W是整数，其中，MaxTsSize是所述视频区域的所述最大尺寸，其中，MinCbLog2SizeY是最小编解码单元尺寸的log 2，并且其中，log2_diff_max_trasform_skip_min_coding_block是所述比特流中所述视频区域的所述最大尺寸和所述最小允许编解码块尺寸之间的差的log2。55.一种视频处理方法，包括：根据格式规则执行视频的视频单元和所述视频的比特流之间的转换，其中，所述比特流符合格式规则，所述格式规则规定，在所述转换期间使用的最小允许编解码块尺寸控制是否和/或如何在所述比特流中包括指示启用或禁用变换跳过TS方案或基于方块的增量脉冲编解码调制BDPCM方案的字段。56.根据权利要求55所述的方法，其中，所述格式规则规定，响应于所述最小允许编解码块尺寸等于64，所述字段被推断为零且不被包括在所述比特流中。57.根据权利要求55所述的方法，其中，所述格式规则规定，响应于所述最小允许编解码块尺大于所述TS编解码方案和/或所述BDPCM编解码方案的最大允许尺寸，所述字段被推断为零且不被包括在所述比特流中。58.一种视频处理方法，包括：根据格式规则执行视频的视频单元和所述视频的比特流之间的转换，其中，所述比特流符合所述格式规则，所述格式规则规定，在所述转换期间使用的最小允许编解码块尺寸控制是否和/或如何在所述比特流的视频区域级别中包括携带关于编解码工具在所述转换中的适用性的信息的字段。
59.根据权利要求58所述的方法，其中，所述视频区域级别对应于序列参数集或图片参数集或图片标头或条带标头。60.根据权利要求59所述的方法，其中，所述格式规则规定，响应于所述最小允许编解码块尺寸大于整数T，用于所述编解码工具的所述字段被推断为不被使用且不被包括在所述比特流中。61.根据权利要求59所述的方法，其中，所述格式规则规定，响应于所述最小允许编解码块尺寸大于整数T，用于所述编解码工具的所述字段指示所述编解码工具不被使用且被包括在所述比特流中。62.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括组合帧间帧内预测CIIP工具。63.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括多变换选择MTS编解码工具。64.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括段块变换SBT编解码工具。65.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括对称运动矢量差SMVD编解码工具。66.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括双向光流BDOF编解码工具。67.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括仿射预测编解码工具。68.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括光流预测细化PROF编解码工具。69.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括解码器侧运动矢量细化DMVR编解码工具。70.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括CU级别权重双向预测BCW编解码工具。71.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括带有运动矢量差的Merge(MMVD)编解码工具。72.根据权利要求58
‑
61任一所述的方法，其中，所述编解码工具包括几...

【专利技术属性】
技术研发人员：张凯，张莉，王洋，王业奎，邓智玭，许继征，刘鸿彬，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：