用于下一代视频的预测和编码的内容自适应划分制造技术

描述了与用于预测和编码的内容自适应划分相关联的技术。一种用于视频编码中的划分的计算机实现的方法包括：接收视频帧；将视频帧分割成多个瓦片、编码单元或超片段；针对至少一个瓦片、编码单元或超片段确定选定划分技术以用于进行预测或编码划分，其中，所述选定划分技术包括结构化划分技术，其包括二分树划分技术、k-d树划分技术、二分树划分技术的码本表示或者k-d树划分技术的码本表示中的至少一个；采用所述选定划分技术将所述至少一个瓦片、编码单元或超片段划分成多个预测分区；以及将与所述多个预测分区相关联的划分指示符或码字编码到比特流当中。

【技术实现步骤摘要】
【国外来华专利技术】用于下一代视频的预测和编码的内容自适应划分相关申请本申请要求2013年1月30日提交的专利技术名称为“NEXTGENERATIONVIDEOCODING”的美国临时申请No.61/758,314的优先权，在此将其内容全文并入本文。
技术介绍
视频编码器压缩视频信息，使得更多的信息可以通过给定的带宽被发送。压缩的信号然后可以被传送到具有解码器的接收机，所述解码器在显示之前对信号进行解码或解压缩。高效视频编码(HEVC)是最新的视频压缩标准，其是由ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组(VCEG)组成的视频编码联合组(JCT-VC)开发的。HEVC响应于以前的H.264/AVC(高级视频编码)标准不提供足够的压缩而进行开发，以用于发展较高分辨率视频应用。类似于以前的视频编码标准，HEVC包括基本功能模块，例如，帧内/帧间预测、变换、量化、循环内滤波和熵编码。正在发展的HEVC标准可以试图改进对H.264/AVC标准的限制，例如，对被允许的预测分区和编码分区的有限选择、有限的被允许的多参考和预测生成、有限的变换块尺寸和实际变换、用于减少编码伪像的有限机制、和低效熵编码技术。然而，正在发展的HEVC标准可以使用迭代方法来解决这样的问题。附图说明本文描述的材料作为示例而不是作为限制在附图中示出。为了举例说明的简单和清楚，在附图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件被放大。此外，在被认为适当的场合，附图标记在附图当中重复以指示相对应的或类似的元件。在附图中：图1是示例下一代视频编码器的示意图；图2是示例下一代视频解码器的示意图；图3示出了具有用于分区的示例瓦片、编码单元或超片段的示例视频帧；图4示出了示例视频帧的瓦片行的示例超片段；图5示出了视频帧的示例区域层分割；图6(A)和6(B)示出了被分割为区域层并且根据瓦片被划分为超片段的示例视频帧；图7是示出了示例编码过程的子集的流程图；图8示出了采用二分树划分技术的帧部分的示例划分；图9示出了采用k-d树划分技术的帧部分的示例划分；图10示出了示例比特流；图11是示出了示例解码过程的流程图；图12(A)和12(B)是示例编码器子系统的示意图；图13是示例解码器子系统的示意图；图14(A)和14(B)共同提供了视频编码和解码系统及过程的组合示例的详细示出；图15是示例视频编码系统的示意图；图16是示例系统的示意图；图17示出了示例设备；图18(A)、18(B)和18(C)示出了视频帧的示例预测分区和编码分区，所有附图都是根据本公开的至少一些实现布置的。具体实施方式现在参考所包含的附图来描述一个或多个实施例或实现。虽然讨论了特定的配置和布置，但是应理解，这仅出于例证性目的而被完成。相关领域中的技术人员将认识到，可以使用其它配置和布置而不偏离描述的精神和范围。对相关领域中的技术人员显而易见的是，还可以在除了本文描述的内容以外的各种其它系统和应用中使用本文描述的技术和/或布置。虽然下面的描述阐述了可以在诸如芯片上系统(SoC)架构之类的架构中出现的各种实现，但是本文描述的技术和/或布置的实现并不限于特定的架构和/或计算系统，并且可以出于类似的目的由任何架构和/或计算系统实现。例如，使用例如多个集成电路(IC)芯片和/或封装、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)的各种架构可以实现本文描述的技术和/或布置。此外，虽然下面的描述可以阐述很多特定的细节，例如，逻辑实现、系统部件的类型和帧间关系、逻辑划分/集成选择等，但是所要求保护的主题可以在没有这样的特定细节的情况下被实施。在其它实例中，一些材料(例如，控制结构和完整的软件指令序列)可以不详细示出，以便不使本文公开的材料难理解。本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料也可以被实现为存储在机器可读介质上的指令，所述指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)；及其它。在说明书中对“一个实现”、“实现”、“示例实现”等的提及指示所述实现可以包括特定的特征、结构、或特性，但每个实施例可能不一定必须包括所述特定的特征、结构或特性。而且，这样的短语并不一定指同一实现。此外，当结合实施例来描述特定的特征、结构或特性时，提出的是，无论是否在本文被明确地描述，结合其它实现来实施这样的特征、结构、或特性是在本领域中的技术人员的知识范围内的。下面描述与用于下一代视频编码的预测和编码的内容自适应划分有关的系统、装置、制品、以及方法。下文将描述下一代视频(NGV)系统、装置、制品和方法。NGV视频编码可以在视频编码过程中结合基于重要内容的自适应性以达到更高的压缩。如上所述，H.264/AVC标准可能具有各种限制以及持续进行的尝试以对标准进行改进，例如，HEVC标准可以采用迭代方案来解决这样的限制。文中将描述包括编码器和解码器的NGV系统。而且如文中的讨论，H.264/AVC标准可以包括对预测分区和编码分区的有限的选择。具体而言，如文中讨论的，可以接收视频帧用于编码。在一些示例中，可以将视频帧分割成瓦片(tile)、编码单元、或超片段(super-fragment)(例如，文中可以将瓦片、编码单元、或超片段描述为帧部分)。例如，瓦片或编码单元可以是视频帧的方形或矩形部分。例如，可以将视频帧完全分为多个瓦片、或者一个或多个编码单元。在其他示例中，可以将视频帧分割成超片段。例如，可以将视频帧分割成两个或更多个区域层。在一些示例中，区域层可以表示场景等的前景、背景和中景(middle-ground)。在这样的示例中，还可以将视频帧分成瓦片。超片段可以包括瓦片的单独的区域层部分。例如，如果瓦片只包括一个区域层，那么超片段可以是整个瓦片。如果瓦片包括两个区域层，那么可以将瓦片分成两个超片段，一个超片段包括具有第一区域层的瓦片部分，以及第二超片段包括具有第二区域层的瓦片部分，等等。超片段可以具有任何形状，其可以是连续的或者不连续的。在任何情况下，可以确定所选择的技术以用于对视频帧的瓦片、编码单元、或超片段进行预测分块。在一些示例中，可以基于视频帧的图片类型来选择选定技术。在其他示例中，可以基于被划分的瓦片、编码单元或超片段的特征来选择选定技术。在一些示例中，可以从二分树划分或者k-d树划分中选择选定技术。在一些NGV实现中，可以采用三种图片类型(尽管还可以采用子类型)：I图片(例如，仅帧内补偿)、P图片(例如，预测性的)或者F/B图片(例如，功能/双向)。如所讨论的，在一些示例中，选定技术可以基于视频帧的图片类型。例如，如果图片类型为I图片，那么选定技术可以是k-d树划分，以及如果图片类型为P图形或者F图片，那么选定技术可以是二分树划分。基于选定的预测划分技术，可以将帧部分划分成任何数量的预测分区。可以对预测分区执行各种候选的或者可能的预测划分。可以对候选分块的预测分区本文档来自技高网...

【技术保护点】
一种用于视频编码中的划分的计算机实现的方法，其包括：接收视频帧；将所述视频帧分割成多个瓦片、编码单元或超片段；针对至少一个瓦片、编码单元或超片段确定选定划分技术以用于进行预测或编码划分，其中，所述选定划分技术包括结构化划分技术，其包括二分树划分技术、k‑d树划分技术、二分树划分技术的码本表示或者k‑d树划分技术的码本表示中的至少一个；采用所述选定划分技术将所述至少一个瓦片、编码单元或超片段划分成多个预测分区；以及将与所述多个预测分区相关联的划分指示符或码字编码到比特流当中。

【技术特征摘要】
【国外来华专利技术】2013.01.30 US 61/758,3141.一种用于视频编码中的划分的计算机实现的方法，其包括：接收视频帧；将所述视频帧分割成多个瓦片、编码单元或超片段；针对至少一个瓦片、编码单元或超片段确定选定划分技术以用于进行预测或编码划分，包括：至少部分地取决于所述视频帧的图片类型来选择所述划分技术，使得I图片是通过使用k-d树划分技术来进行划分的，并且P图片是通过使用二分树划分技术来进行划分的；其中，所述选定划分技术包括结构化划分技术，其包括所述二分树划分技术、所述k-d树划分技术、所述二分树划分技术的码本表示或者所述k-d树划分技术的码本表示中的至少一个；采用所述选定划分技术将所述至少一个瓦片、编码单元或超片段划分成多个预测分区；以及将与所述多个预测分区相关联的划分指示符或码字编码到比特流当中。2.根据权利要求1所述的方法，还包括：将所述视频帧分割成两个或更多个区域层，其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括将所述视频帧分割成多个超片段，并且其中，至少一个超片段包括所述两个或更多个区域层中的单独的区域层。3.根据权利要求1所述的方法，其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括将所述视频帧分割成多个瓦片。4.根据权利要求1所述的方法，还包括：确定与所述多个预测分区相关联的多个预测的分区和相对应的原始像素数据的差异，以生成相对应的多个预测误差数据分区；确定所述多个预测误差数据分区中的单独的预测误差数据分区需要编码；以及对于需要编码的所述单独的预测误差数据分区：将所述预测误差数据分区划分成多个编码分区，其中，对所述预测误差数据分区进行划分包括二分树划分。5.根据权利要求1所述的方法，还包括：生成与所述多个预测分区的第一单独的预测分区相关联的帧间预测数据；生成与第二视频帧的第二瓦片、编码单元或超片段的第二多个预测分区的第二单独的预测分区相关联的帧内预测数据；确定所述多个预测分区和相对应的原始像素数据的差异，以生成相对应的多个预测误差数据分区；确定所述多个预测误差数据分区中的单独的预测误差数据分区需要编码；对于需要编码的所述单独的预测误差数据分区：将所述预测误差数据分区划分成多个编码分区，其中，对所述预测误差数据分区进行划分包括二分树划分；采用编码分区索引值来对所述多个编码分区编索引；将所述编码分区和所述编码分区索引值发送至编码控制器；以及对所述单独的预测误差数据分区的编码分区执行前向变换和量化以生成与所述单独的预测误差数据分区相关联的数据；将与所述第一单独的预测分区相关联的帧间预测数据、限定所述第一单独的预测分区的数据、与所述第二单独的预测分区相关联的帧内预测数据、限定所述第二单独的预测分区的数据以及与所述单独的预测误差数据分区相关联的数据熵编码到比特流当中。6.根据权利要求1所述的方法，其中，确定所述选定划分技术包括至少部分地基于所述视频帧的图片类型来确定所述选定划分技术，其中，所述图片类型包括F/B图片，并且其中，所述选定划分技术包括所述二分树划分技术。7.根据权利要求1所述的方法，其中，确定所述选定划分技术包括至少部分地基于所述至少一个瓦片、编码单元或超片段的特征来确定所述选定划分技术，其中，所述特征包括所述至少一个瓦片、编码单元或超片段中的帧内块的预期量，并且其中，在所述帧内块的预期量大于阈值时，所述选定划分技术包括所述k-d树划分技术，并且其中，在所述帧内块的预期量低于阈值时，所述选定划分技术包括所述二分树划分技术。8.根据权利要求1所述的方法，其中，对所述至少一个瓦片、编码单元或超片段进行划分包括划分约束条件。9.根据权利要求1所述的方法，还包括：将所述视频帧分割成两个或更多个区域层，其中，所述两个或更多个区域层包括4像素、8像素或16像素中的至少一个的精确度，其中，所述两个或更多个区域层包括区域边界，其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括将所述视频帧分割成多个超片段，其中，对所述视频帧进行分割包括采用16×16像素块的符号运行编码，并且其中，至少一个超片段包括所述两个或更多个区域层的单独的区域层；对所述区域边界进行编码，其中，对所述区域边界进行编码包括符号运行编码或者生成在瓦片网格上逼近所述区域边界的码本中的至少一个，其中，所述瓦片网格是具有32×32像素或者64×64像素中的至少一个尺寸的等间隔瓦片网格；采用预测分区索引值来对所述多个预测分区编索引；将所述多个预测分区和预测分区索引值发送至编码控制器；生成与所述多个预测分区中的第一单独的预测分区相关联的帧间预测数据，其中，所述帧间预测数据包括运动矢量数据；生成与第二视频帧的第二瓦片、编码单元或超片段的第二多个预测分区的第二单独的预测分区相关联的帧内预测数据；确定与所述多个预测分区相关联的多个预测的分区和相对应的原始像素数据的差异，以生成相对应的多个预测误差数据分区，其中，所述多个预测的分区中的第一预测的分区至少部分地基于参考帧进行预测，所述参考帧包括紧挨着的之前的参考帧、更早的之前的参考帧、未来参考帧、变形参考帧或合成参考帧；基于所述参考帧来生成针对所述第一预测的分区的参考类型指示符；基于所述第一预测的分区的预测模式来生成预测模式指示符，其中，所述预测模式从帧间、多重、帧内、跳过、自动或拆分中的至少一个中进行选择；将所述参考类型指示符和所述预测模式编码到所述比特流当中；确定所述多个预测误差数据分区中的单独的预测误差数据分区需要编码；对于需要编码的所述单独的预测误差数据分区：将所述预测误差数据分区划分成多个编码分区，其中，对所述预测误差数据分区进行划分包括二分树划分；采用编码分区索引值来对所述多个编码分区编索引；将所述编码分区和所述编码分区索引值发送至所述编码控制器；以及对所述单独的预测误差数据分区的编码分区执行前向变换和量化以生成与所述单独的预测误差数据分区相关联的数据；将与所述第一单独的预测分区相关联的帧间预测数据、限定所述第一单独的预测分区的数据、与所述第二单独的预测分区相关联的帧内预测数据、限定所述第二单独的预测分区的数据、以及与所述单独的预测误差数据分区相关联的数据熵编码到比特流当中；发送所述比特流；接收所述比特流；对所述比特流进行熵解码，以确定与所述第一单独的预测分区相关联的帧间预测数据、限定所述第一单独的预测分区的数据、与所述第二单独的预测分区相关联的帧内预测数据、限定所述第二单独的预测分区的数据、以及与所述单独的预测误差数据分区相关联的数据，其中，所述第一单独的预测分区包括二分树分区，以及所述第二单独的预测分区包括k-d树分区；至少部分地基于与所述单独的预测误差数据分区相关联的数据来执行反向量化和反向变换，以生成解码的编码分区；合并解码的编码分区以生成解码的预测误差数据分区；将第一单独解码的预测的分区加到解码的预测误差数据分区以生成第一重构分区；装配所述第一重构分区和第二重构分区以生成第一瓦片、第一编码单元或第一超片段中的至少一个；将解块滤波或质量恢复滤波中的至少一个应用到所述第一瓦片、所述第一编码单元或所述第一超片段，以生成第一最终解码的瓦片、编码单元或超片段；将所述第一最终解码的瓦片、编码单元或超片段与第二最终解码的瓦片、编码单元或超片段进行装配以生成第一解码的视频帧；至少部分地基于所述帧间预测数据来执行运动补偿以生成第二解码的单独的预测分区；至少部分地基于所述帧内预测数据来执行针对第二多个分区的第三解码的单独的预测分区的帧内预测；至少部分地基于所述运动补偿来生成第二解码的视频帧；至少部分地基于所述帧内预测来生成第三解码的视频帧；以及发送所述第一、第二和第三解码的视频帧以经由显示设备进行呈现，其中，将所述视频帧分割成所述多个瓦片、或编码单元、或超片段包括将所述视频帧分割成多个瓦片，其中，确定所述选定划分技术包括至少部分地基于所述视频帧的图片类型来确定所述选定划分技术，其中，所述图片类型包括I图片(帧内图片)、P图片(预测性图片)或者F/B图片(功能/双向图片)中的至少一个，其中，所述图片类型包括所述I图片，并且其中，所述选定划分技术包括所述k-d树划分技术，其中，所述图片类型包括所述P图片，并且其中，所述选定划分技术包括所述二分树划分技术，其中，所述图片类型包括所述F/B图片，并且其中，所述选定划分技术包括所述二分树划分技术，其中，确定所述选定划分技术包括至少部分地基于所述至少一个瓦片、编码单元或超片段的特征来确定所述选定划分技术，其中，所述特征包括所述至少一个瓦片、编码单元或超片段中的帧内块的预期量，并且其中，在所述帧内块的预期量大于阈值时，所述选定划分技术包括所述k-d树划分技术，并且其中，在所述帧内块的预期量低于阈值时，所述选定划分技术包括所述二分树划分技术，并且其中，对所述至少一个瓦片、编码单元或超片段进行划分包括划分约束条件，其中，所述划分约束条件包括将第一分区预定义为沿第一维度对至少一个帧部分进行二等分，以及将第二分区预定义为沿第二维度对所述至少一个帧部分进行二等分，并且其中，所述第一维度包括垂直维度，以及所述第二维度包括水平维度。10.一种视频编码器，其包括：图像缓冲器；包括预测分区发生器逻辑电路的图形处理单元，其中，所述图形处理单元通信地耦合至所述图像缓冲器并且其中，所述预测分区发生器逻辑电路被配置为：接收视频帧；将所述视频帧分割成多个瓦片、编码单元或超片段；针对至少一个瓦片、编码单元或超片段来确定选定划分技术，包括：至少部分地取决于所述视频帧中帧内块的预期量来选择所述划分技术，使得当所述帧内块的预期量大于阈值时k-d树划分技术被选择，并且当所述帧内块的预期量小于阈值时，二分树划分技术被选择；其中，所述选定划分技术包括结构化划分技术，所述结构化划分技术包括所述二分树划分技术、所述k-d树划分技术、所述二分树划分技术的码本表示或者所述k-d树划分技术的码本表示中的至少一个；以及采用所述选定划分技术将所述至少一个瓦片、编码单元或超片段划分成多个预测分区。11.根据权利要求10所述的视频编码器，其中，所述预测分区发生器逻辑电路还被配置为：将所述视频帧分割成两个或更多个区域层，其中，将所述视频帧分割成多个瓦片、编码单元或超片段包括所述预测分区发生器逻辑电路被配置为将所述视频帧划分成多个超片段，并且其中，至少一个超片段包括所述两个或更多个区域层的单独的区域层。12.根据权利要求10所述的视频编码器，其中，将所述视频帧分割成多个瓦片、编码单元或超片段包括所述预测分区发生器逻辑电路被配置为将所述视频帧分割成多个瓦片。13.根据权利要求10所述的视频编码器，所述图形处理单元还包括：差异确定逻辑电路，其被配置为：确定与所述多个预测分区相关联的多个预测的分区和相对应的原始像素数据的差异，以生成相对应的多个预测误差数据分区；编码分区发生器逻辑电路，其被配置为：确定所述多个预测误差数据分区中的单独的预测误差数据分区需要编码；并且对于需要编码的单独的残差：将所述预测误差数据分区划分成多个编码分区，其中，对所述预测误差数据分区进行划分包括二分树划分。14.根据权利要求10所述的视频编码器，其中，确定所述选定划分技术包括所述预测分区发生器逻辑电路被配置为至少部分地基于所述视频帧的图片类型来确定所述选定划分技术。15.根据权利要求10所述的视频编码器，其中，确定所述选定划分技术包括所述预测分区发生器逻辑电路被配置为至少部分地基于在相同的帧上的并且与瓦片、编码单元或超片段的另一相同类型的分区的特征不同的至少一个瓦片、编码单元或超片段的特征来确定所述选定划分技术。16.根据权利要求10所述的视频编码器，所述图形处理单元还包括：帧间预测逻辑电路，其被配置为：生成与所述多个预测分区中的第一单独的预测分区相关联的帧间预测数据，其中，所述帧间预测数据包括运动矢量数据；帧内预测逻辑电路，其被配置为：生成与第二视频帧的第二瓦片、编码单元或超片段的第二多个预测分区的第二单独的预测分区相关联的帧内预测数据；差异确定逻辑电路，其被配置为：确定与所述多个预测分区相关联的多个预测的分区和相对应的原始像素数据的差异，以生成相对应的多个预测误差数据分区，其中，所述多个预测的分区中的第一预测的分区至少部分地基于参考帧进行预测，所述参考帧包括紧挨着的之前的参考帧、更早的之前的参考帧、未来参考帧、变形参考帧或合成参考帧；编码分区发生器逻辑电路，其被配置为：确定所述多个预测误差数据分区中的单独的预测误差数据分区需要编码；以及对于需要编码的单独的残差：将所述预测误差数据分区划分成多个编码分区，其中，对所述预测误差数据分区进行划分包括二分树划分；采用编码分区索引值来对所述多个编码分区编索引；以及将所述编码分区和所述编码分区索引值发送至编码控制器；自适应变换逻辑电路和自适应量化逻辑电路，其被配置为对所述单独的预测误差数据分区的编码分区执行前向变换和量化以生成与所述单独的预测误差数据分区相关联的数据；以及自适应熵编码器逻辑电路，其被配置为：将与所述第一单独的预测分区相关联的帧间预测数据、限定所述第一单独的预测分区的数据、与所述第二单独的预测分区相关联的帧内预测数据、限定所述第二单独的预测分区的数据以及与所述单独的预测误差数据分区相关联的数据熵编码到比特流当中；并且发送所述比特流，其中，所述预测分区发生器逻辑电路还被配置为：将所述视频帧分割成两个或更多个区域层，其中，所述两个或更多个区域层包括4像素、8像素或16像素中的至少一个的精确度，其中，所述两个或更多个区域层包括区域边界，其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括所述预测分区发生器逻辑电路进一步被配置为将所述视频帧分割成多个超片段，其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括所述预测分区发生器逻辑电路进一步被配置为采用16×16像素块通过符号运行编码来对所述视频帧进行分割，并且其中，至少一个超片段包括所述两个或更多个区域层的单独的区域层；对所述区域边界进行编码，其中，对所述区域边界进行编码包括符号运行编码或者生成在瓦片网格上逼近所述区域边界的码本中的至少一个，其中，所述瓦片网格是具有32×32像素或者64×64像素中的至少一个的尺寸的等间隔瓦片网格；采用预测分区索引值来对所述多个预测分区编索引；将所述多个预测分区和所述预测分区索引值发送至编码控制器；其中，将所述视频帧分割成所述多个瓦片、编码单元或超片段包括所述预测分区发生器逻辑电路被配置为将所述视频帧分割成多个瓦片，其中，确定所述选定划分技术包括所述预测分区发生器逻辑电路被配置为至少部分地基于所述视...

【专利技术属性】
技术研发人员：A·普里，N·N·戈卡莱，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US