视频编解码中的自适应比特深度转换制造技术

描述了用于数字视频编解码的设备、系统和方法，其包括用于视频编解码的比特深度和颜色格式转换。一种用于视频处理的示例性方法包括用于视频处理的方法，其包括：将自适应比特深度转换(ABC)过程应用于当前图片内的视频区域，其中，在自适应比特深度转换(ABC)过程中，一个或多个采样比特深度集合可应用于视频区域的一个或多个颜色分量，并且一个或多个采样比特深度集合在特定视频单元中被信令通知；以及基于自适应比特深度转换(ABC)过程，执行视频区域和当前视频区域的比特流表示之间的转换。换。换。

【技术实现步骤摘要】
【国外来华专利技术】视频编解码中的自适应比特深度转换
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或按照巴黎公约的规则，本申请旨在及时要求2019年5月16日提交的国际专利申请PCT/CN2019/087209的优先权和利益。其全部公开内容通过引用而并入作为本申请的公开内容的一部分。


[0003]本专利文档涉及视频编解码技术、设备和系统。

技术介绍

[0004]尽管视频压缩技术有所进步，但数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预期数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]描述了与数字视频编解码相关的设备、系统和方法，特别是与视频编解码的比特深度和颜色格式转换相关。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频编解码标准或者视频编解码器。
[0006]在一个代表性方面，公开了一种用于视频处理的方法，包括：将自适应比特深度转换(ABC)过程应用于当前图片内的视频区域，其中，在自适应比特深度转换(ABC)过程中，一个或多个采样比特深度集合可应用于视频区域的一个或多个颜色分量，并且一个或多个采样比特深度集合在特定视频单元中被信令通知；以及基于自适应比特深度转换(ABC)过程，执行视频区域和当前视频区域的比特流表示之间的转换。
[0007]在另一代表性方面，公开了一种用于视频处理的方法，包括：对于利用自适应比特深度转换(ABC)过程编解码的视频的当前图片内的视频区域，确定当前图片的至少一个颜色分量的采样比特深度与视频区域所参考的参考图片的至少一个颜色分量的采样比特深度之间的关系；响应于该关系，对参考图片内的样点或视频区域的预测区域执行特定操作；以及基于特定操作，执行视频区域的比特流表示和视频区域之间的转换。
[0008]在又一代表性方面，公开了一种用于视频处理的方法，包括：将第一自适应转换过程应用于当前图片内的视频区域；将第二自适应转换过程应用于视频区域；以及基于第一自适应转换过程和第二自适应转换过程，执行视频区域的比特流表示和视频区域之间的转换；其中，第一自适应转换过程是自适应比特深度转换(ABC)过程和自适应分辨率改变(ARC)过程中的一个，并且第二自适应转换过程是自适应比特深度转换(ABC)过程和自适应分辨率改变(ARC)过程中的另一个。
[0009]在又一代表性方面，公开了一种用于视频处理的方法，包括：对于当前图片内的视频区域，确定至少一个Merge候选，其中，基于所述至少一个Merge候选所参考的参考图片的
至少一个颜色分量的采样比特深度，至少一个Merge候选被分配优先级；基于优先级，确定是否和/或如何将Merge候选插入视频区域的Merge候选列表中；以及基于Merge候选列表，执行视频区域的比特流表示和视频区域之间的转换。
[0010]在又一代表性方面，公开了一种用于视频处理的方法，包括：将自适应环路滤波(ALF)过程应用于当前图片内的样点，其中，多个ALF参数基于与多个ALF参数相关联的对应采样比特深度而可应用于样点。
[0011]在又一代表性方面，公开了一种用于视频处理的方法，包括：将利用色度缩放的亮度映射(LMCS)过程应用于当前图片内的样点，其中，多个LMCS参数基于与多个LMCS参数相关联的对应采样比特深度而可应用于样点。
[0012]在又一代表性方面，公开了一种用于视频处理的方法，包括：基于视频块所参考的多个参考图片中的至少一个的采样比特深度和当前图片的采样比特深度之间的关系，确定是否和/或如何对当前图片内的视频块执行特定编解码方案；以及基于该确定，执行视频块的比特流表示和视频块之间的转换。
[0013]在又一代表性方面，公开了一种用于视频处理的方法，包括：执行当前视频块的比特流表示和当前视频块之间的转换，其中，如果当前视频块所参考的两个参考图片具有不同的采样比特深度，则在转换期间对视频块禁用根据两个参考图片的双向预测。
[0014]在又一代表性方面，上述方法以处理器可执行代码的形式体现，并存储在计算机可读程序介质中。
[0015]在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
[0016]在又一代表性方面，视频解码器装置可以实施本文描述的方法。
[0017]在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。
附图说明
[0018]图1示出了以不同分辨率编解码的相同内容的两个表示的自适应流的示例。
[0019]图2示出了以不同分辨率编解码的相同内容的两个表示的自适应流的另一示例，其中，片段使用封闭的图片组(GOP)或开放的GOP预测结构。
[0020]图3示出了两个表示的开放的GOP预测结构的示例。
[0021]图4示出了在开放的GOP位置处切换的表示的示例。
[0022]图5示出了使用来自另一比特流的重采样参考图片作为参考来解码随机接入跳过引导(RASL)图片的示例。
[0023]图6A
‑
图6C示出了基于运动受约束的片(tile)集(MCTS)的基于区域的混合分辨率(RWMR)视口相关的360流传输的示例。
[0024]图7示出了不同的帧内随机接入点(IRAP)间隔和不同的尺寸的并置(collocate)子图片表示的示例。
[0025]图8示出了当观看方位改变导致在片段的开始处的分辨率改变时接收到的片段的示例。
[0026]图9示出观看方位改变的示例。
[0027]图10示出了用于两个子图片位置的子图片表示的示例。
[0028]图11示出了用于自适应分辨率转换(ARC)的编码器修改的示例。
[0029]图12示出了用于ARC的解码器修改的示例。
[0030]图13示出了用于ARC的基于片组的重采样的示例。
[0031]图14示出了ARC过程的示例。
[0032]图15示出了用于编解码单元的可选时域运动矢量预测(ATMVP)的示例。
[0033]图16A
‑
图16B示出了简化的仿射运动模型的示例。
[0034]图17示出了每一子块的仿射运动矢量场(MVF)的示例。
[0035]图18A和图18B分别示出了4参数仿射模型和6参数仿射模型的示例。
[0036]图19示出了针对继承的仿射候选的AF_INTER的运动矢量预测(MVP)的示例。
[0037]图20示出了针对所构造的仿射候选的AF_INTER的MVP的示例。
[0038]图21A和图21B示出AF_MERGE的候选的示例。
[0039]图22示出了仿射merge模式的候选位置的示例。
[0040]图23是用于实施本文档中描述的视觉媒体解码或视觉媒体本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频处理的方法，包括：将自适应比特深度转换(ABC)过程应用于当前图片内的视频区域，其中，在所述自适应比特深度转换(ABC)过程中，一个或多个采样比特深度集合可应用于所述视频区域的一个或多个颜色分量，并且所述一个或多个采样比特深度集合在特定视频单元中被信令通知；以及基于所述自适应比特深度转换(ABC)过程，执行所述视频区域和当前视频区域的比特流表示之间的转换。2.根据权利要求1所述的方法，其中，所述特定视频单元包括解码器参数集(DPS)、视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头和片组标头中的至少一个。3.根据权利要求1所述的方法，其中，所述特定视频单元包括补充增强信息(SEI)消息。4.根据权利要求1所述的方法，其中，所述特定视频单元包括用于所述自适应比特深度转换的单独视频单元。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述一个或多个采样比特深度集合被耦合到所述当前图片的对应维度信息。6.根据权利要求5所述的方法，其中，所述当前图片的维度信息包括所述当前图片的上采样率和下采样率。7.根据权利要求5或6所述的方法，其中，所述当前图片的对应维度信息在与所述一个或多个采样比特深度集合相同的特定视频单元中被信令通知。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述一个采样比特深度集合包括允许的最大采样比特深度和最小采样比特深度中的至少一个。9.根据权利要求1
‑
7中任一项所述的方法，其中，所述一个采样比特深度集合包括比特深度阈值与允许的最大采样比特深度和最小采样比特深度中的至少一个之间的差。10.根据权利要求7所述的方法，其中，根据所述一个或多个采样比特深度集合和对应的维度信息来配置多于一个组合，并且所述多于一个组合中的任意两个是不同的。11.一种用于视频处理的方法，包括：对于利用自适应比特深度转换(ABC)过程编解码的视频的当前图片内的视频区域，确定所述当前图片的至少一个颜色分量的采样比特深度与所述视频区域所参考的参考图片的至少一个颜色分量的采样比特深度之间的关系；响应于所述关系，对所述参考图片内的样点或所述视频区域的预测区域执行特定操作；以及基于所述特定操作，执行所述视频区域的比特流表示和所述视频区域之间的转换。12.根据权利要求11所述的方法，其中，如果确定所述当前图片的至少一个颜色分量的采样比特深度与所述参考图片的至少一个颜色分量的采样比特深度不同，所述特定操作包括：在调用所述视频区域的运动补偿过程之前，对所述参考图片内的样点执行修改。13.根据权利要求11所述的方法，其中，如果确定所述当前图片的至少一个颜色分量的采样比特深度与所述参考图片的至少一个颜色分量的采样比特深度不同，所述特定操作包括：
通过使用所述参考图片内的样点对所述视频区域执行运动补偿，以生成所述视频区域的预测区域，以及对所述预测区域内的样点执行修改。14.根据权利要求11所述的方法，其中，如果所述参考图片的至少一个颜色分量的采样比特深度不等于所述当前图片的至少一个颜色分量的采样比特深度，所述特定操作包括：在用于所述视频区域的帧间预测之前，修改所述参考图片内的至少一个样点；将修改后的参考图片放入参考图片列表中。15.根据权利要求11
‑
14中任一项所述的方法，其中，所述参考图片以对所述参考图片进行编解码所使用的采样比特深度被存储在解码图片缓冲器中。16.根据权利要求11
‑
14中任一项所述的方法，其中，所述参考图片以最大允许采样比特深度、最小允许采样比特深度或预定采样比特深度的采样比特深度被存储在解码图片缓冲器中。17.根据权利要求11
‑
14中任一项所述的方法，其中，所述参考图片以基于所述当前图片的采样比特深度和所述参考图片的采样比特深度的采样比特深度被存储在解码图片缓冲器中。18.根据权利要求11
‑
14中任一项所述的方法，其中，所述方法还包括：将包括所述视频区域的解码图片以对所述解码图片进行编解码所使用的采样比特深度存储在解码图片缓冲器中。19.根据权利要求11
‑
14中任一项所述的方法，其中，所述方法还包括：以最大允许采样比特深度、最小允许采样比特深度或预定采样比特深度的采样比特深度将包括所述视频区域的解码图片存储在解码图片缓冲器中。20.根据权利要求16或19所述的方法，其中，所述解码图片缓冲器中的图片具有相同的采样比特深度。21.根据权利要求12
‑
14中任一项所述的方法，其中，所述修改包括左移或右移中的至少一种。22.根据权利要求21所述的方法，其中，如果确定所述参考图片的至少一个颜色分量的采样比特深度低于所述当前图片的至少一个颜色分量的采样比特深度，所述参考图片内的至少一个样点被进行如下修改以生成修改后的参考图片：S
’
＝S<<(BD0
‑
BD1)；或者S
’
＝S<<(BD0
‑
BD1)+(1<<(BD0
‑
BD1
‑
1))，其中，S表示所述参考图片内的至少一个样点，BD0表示所述当前图片的至少一个颜色分量的采样比特深度，以及BD1表示所述参考图片的对应颜色分量的采样比特深度，以及S
’
表示修改后的样点。23.根据权利要求21所述的方法，其中，如果确定所述参考图片的至少一个颜色分量的采样比特深度大于所述当前图片的至少一个颜色分量的采样比特深度，所述参考图片内的至少一个样点被进行如下修改以生成修改后的参考图片：S
’
＝Shift(S，BD1
‑
BD0)，其中，Shift(x，n)定义为Shift(x，n)＝(x+offset0)>>n，S表示所述参考图片内的至少一个样点，BD0表示所述当前图片的至少一个颜色分量的采样比特深度，以及BD1表示所述
参考图片的对应颜色分量的采样比特深度，以及S
’
表示修改后的样点。24.根据权利要求12
‑
14和21
‑
23中任一项所述的方法，其中，在生成修改后的参考图片之后，所述参考图片被移除。25.根据权利要求12
‑
14和21
‑
23中任一项所述的方法，其中，在生成修改后的参考图片之后，所述参考图片被保留并标记为不可用。26.一种用于视频处理的方法，包括：将第一自适应转换过程应用于当前图片内的视频区域；将第二自适应转换过程应用于所述视频区域；以及基于所述第一自适应转换过程和所述第二自适应转换过程，执行所述视频区域的比特流表示和所述视频区域之间的转换；其中，所述第一自适应转换过程是自适应比特深度转换(ABC)过程和自适应分辨率改变(ARC)过程中的一个，并且所述第二自适应转换过程是自适应比特深度转换(ABC)过程和自适应分辨率改变(ARC)过程中的另一个。27.根据权利要求26所述的方法，其中，在所述自适应比特深度转换(ABC)过程之前或之后执行所述自适应分辨率改变(ARC)过程。28.根据权利要求27所述的方法，其中，所述自适应分辨率改变(ARC)过程包括：对于所述视频区域，确定所述当前图片的分辨率和所述视频区域所参考的参考图片的分辨率之间的关系；以及响应于所述关系，对所述参考图片内的样点执行修改。29.根据权利要求28所述的方法，其...

【专利技术属性】
技术研发人员：张凯，张莉，刘鸿彬，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：