本发明专利技术涉及图像或视频编码和解码。图像部分包括亮度分量和色度分量，所述色度分量的分辨率小于所述亮度分量的分辨率。为了获得所述亮度分量和所述色度分量的匹配分辨率，在所述亮度分量的下采样处理与所述色度分量的上采样处理之间执行选择；接着，将所选处理应用于所述图像部分；然后，根据所选处理生成码流，其中，所述生成包括对所述经处理的图像部分进行编码。在色度上采样与亮度下采样之间进行选择能够针对所需应用调整输入图像部分。例如，一些应用的目的可能是降低复杂度或码率，在这种情况下，亮度下采样可能更有利，而其它应用的目的可能是获得高质量，在这种情况下，色度上采样可能更有利。采样可能更有利。采样可能更有利。
【技术实现步骤摘要】
【国外来华专利技术】基于机器学习的图像译码中的色度子采样格式处理方法
[0001]本专利技术实施例大体上涉及图像或视频编码和解码领域，尤其涉及根据经训练的网络在视频译码中对具有子采样色度的颜色格式进行处理。
技术介绍
[0002]视频译码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、基于互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。
[0003]即使视频相对较短，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后传输或存储视频数据，从而减少表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。
[0004]最近，人们已经将机器学习(machine learning，ML)应用于图像和视频编码。通常，机器学习可以通过各种不同的方式应用于图像和视频编码。例如，人们已经讨论了一些端到端优化的图像或视频编码方案。更广泛地说，机器学习是人工智能的一个子集，在机器学习中，模型(通常是网络模型)是基于样本数据(通常称为训练数据)构建的。在经过训练之后，这类基于ML的方法会根据可能尚未用作训练数据的输入数据做出预测或决策。这表示在经过训练之后，ML网络被训练，称为经训练的网络。
[0005]存在大量基于ML方法的网络模型，包括支持向量机(support vector machine，SVM)、神经网络(neural network，NN)、人工神经网络(artificial neural network，ANN)、全连接神经网络(full connected neural network，FCN)、卷积神经网络(convolutional neural network，CNN)等，这里只给出一些示例。这类网络通常有共同之处，即它们的网络结构需要多层(即至少一层)网络节点。因此，一层中的一些节点或所有节点可以连接到在这一层之前或之后的一层或多层中的一些节点或所有节点。
[0006]希望进一步提高基于经训练的网络的这种图像编码(视频编码或静止图像编码)的效率。
技术实现思路
[0007]本专利技术的一些实施例提供了对包括作为输入的亮度分量和子采样色度分量的图像部分进行编码和解码的方法和装置。亮度分量可以通过下采样来处理，使得编码和解码处理可以更快地以低码率执行，产生低分辨率。色度分量可以通过色度上采样来处理，得到高分辨率结果。亮度与色度之间的空间相关性也可以通过这种方式保留。在任何一种情况
下，调整大小后的亮度和色度分量具有匹配的分辨率，然后经训练的网络对这些匹配分量进行编码。编码器可以在亮度下采样与色度上采样之间进行适应性选择，而解码器执行亮度上采样和色度下采样的相反图像处理。因此，编码和解码处理可以根据所选图像处理提供低分辨率或高分辨率图像(picture/image)。
[0008]上述和其它目的通过独立权利要求请求保护的主题来实现。其它实现方式在从属权利要求、说明书和附图中显而易见。
[0009]根据本专利技术的一方面，提供了一种用于对图像部分进行编码的方法。所述图像部分包括亮度分量和色度分量，所述色度分量的分辨率小于所述亮度分量的分辨率，所述方法包括：选择以下之一作为所述图像部分的图像处理：对所述亮度分量进行下采样，以获得分辨率与所述色度分量的分辨率匹配的下采样亮度分量；对所述色度分量进行上采样，以获得分辨率与所述亮度分量的分辨率匹配的上采样色度分量；根据所选处理对所述图像部分进行处理；根据所选处理生成码流，其中，所述生成包括对所述经处理的图像部分进行编码。
[0010]无论是对亮度分量进行下采样还是对色度分量进行上采样，都提供了大小相等的亮度和色度输出作为输出。因此，所述输出然后可以由具有类似结构(特别是相同输入分辨率)的经训练的网络(例如在机器学习框架内)进行处理。如果所有颜色分量的分辨率都相同，则机器学习框架能够在所有样本位置上以相同的方式利用颜色互相关。在其中一个图像处理中，亮度通道可以保持不受影响，在这种情况下，不存在质量损失。
[0011]下采样亮度有利于实现低分辨率以降低码率，而上采样色度有利于实现高分辨率以保留亮度信息。因此，适应性切换能够根据对码率或图像质量的要求和/或限制选择采样模式。由于在为图像部分选择的图像处理的任何一种情况下，经处理的亮度和色度分量具有匹配的分辨率，因此输出可以在VAE框架或支持高效编码的其它框架内处理。
[0012]在一些示例性实现方式中，所述选择包括对速率和失真的成本函数进行估算。因此，采样模式(即亮度下采样和色度上采样)是基于成本选择的。
[0013]根据所述方法的一种示例性实现方式，所述选择包括：对所述亮度分量进行下采样，以获得中间下采样亮度分量；对所述色度分量进行上采样，以获得中间上采样色度分量。选择采样模式(包括亮度下采样和色度上采样)在任何一种情况下都提供中间亮度分量和中间色度分量，每个分量都具有匹配的分辨率(即大小)。然后，大小相等的亮度和色度分量可以由VAE等进一步处理。
[0014]在所述方法的另一个实现示例中，所述选择包括：根据所述成本函数，分别确定所述中间下采样亮度分量和所述色度分量的成本以及所述亮度分量和所述中间上采样色度分量的成本，其中，在所述选择中，所述确定成本较低的图像部分的图像处理被选择。因此，亮度分量和子采样色度分量的整体编码是通过使用成本最低的采样模式(即亮度下采样或色度上采样)高效执行的。
[0015]根据所述方法的一个实现示例，所述确定包括：将所述中间下采样亮度分量和所述色度分量编码到第一码流中；将所述亮度分量和所述中间上采样色度分量编码到第二码流中；根据所述成本函数，确定所述第一码流和所述第二码流的成本。因此，实际成本可以准确地确定，因为它是基于实际经编码的第一和第二码流。
[0016]在所述方法的一个示例中，所述生成码流包括将表示所选图像处理的选择指示符
编码到所述码流中。这降低了指示已经对码流执行的图像处理的复杂度。
[0017]在另一个示例中，所述生成码流包括所述将亮度分量的宽度W和/或高度H的指示编码到所述码流中。因此，原始图像部分的宽度和高度可以指示给编码器。
[0018]根据所述方法的一种示例性实现方式，所述上采样和/或下采样由经训练的网络执行。基于经训练的网络的译码可以提高性能，这要归功于可以使用所需数据训练这种网络。
[0019]根据一个示例，所述对所述经处理的图像部分进行编码由变分自动编码器(varia本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于对图像部分进行编码的方法，其特征在于，所述图像部分包括亮度分量和色度分量，所述色度分量的分辨率小于所述亮度分量的分辨率，所述方法包括：选择以下之一作为所述图像部分的图像处理：对所述亮度分量进行下采样，以获得分辨率与所述色度分量的分辨率匹配的下采样亮度分量；对所述色度分量进行上采样，以获得分辨率与所述亮度分量的分辨率匹配的上采样色度分量；根据所选图像处理对所述图像部分进行处理；根据所选图像处理生成码流，其中，所述生成包括对所述经处理的图像部分进行编码。2.根据权利要求1所述的方法，其特征在于，所述选择包括对速率和失真的成本函数进行估算。3.根据权利要求2所述的方法，其特征在于，所述选择包括：对所述亮度分量进行下采样，以获得中间下采样亮度分量；对所述色度分量进行上采样，以获得中间上采样色度分量。4.根据权利要求3所述的方法，其特征在于，所述选择包括：根据所述成本函数，分别确定所述中间下采样亮度分量和所述色度分量的成本以及所述亮度分量和所述中间上采样色度分量的成本，其中，在所述选择中，所述确定成本较低的图像部分的图像处理被选择。5.根据权利要求4所述的方法，其特征在于，所述确定包括：将所述中间下采样亮度分量和所述色度分量编码到第一码流中；将所述亮度分量和所述中间上采样色度分量编码到第二码流中；根据所述成本函数，确定所述第一码流和所述第二码流的成本。6.根据权利要求1至5所述的方法，其特征在于，所述生成码流包括将表示所选图像处理的选择指示符编码到所述码流中。7.根据权利要求1至5所述的方法，其特征在于，所述生成码流包括将所述亮度分量的宽度W和/或高度H的指示编码到所述码流中。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述上采样和/或所述下采样由经训练的网络执行。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述对所述经处理的图像部分进行编码由变分自动编码器(variational autoencoder，VAE)执行。10.一种用于从码流中重建图像部分的方法，其特征在于，所述图像部分包括亮度分量和色度分量，所述色度分量的分辨率小于所述亮度分量的分辨率，所述方法包括：从所述码流中解码具有相同分辨率的亮度分量和色度分量；根据所述码流确定以下之一作为图像处理：对所述经解码的亮度分量进行上采样，并获取包括所述经解码的色度分量和所述上采样亮度分量的重建图像部分；对所述经解码的色度分量进行下采样，并获取包括所述经解码的亮度分量和所述下采样色度分量的重建图像部分；根据所述确定的图像处理，获取所述图像部分。
11.根据权利要求10所述的方法，其特征在于，所述确定还包括：从所述码流中解码表示图像处理的选择指示符；将通过所述选择指示符表示的所述处理确定为所述图像处理。12.根据权利要求10或11所述的方法，其特征在于，所述确定还包括从所述码流中解码所述图像部分中的所述亮度分量的宽度W和/或高度H。13.根据权利要求12所述的方法，其特征在于，所述确定还包括：确定所述宽度W和所述高度H是否与所述经解码的亮度分量的对应宽度和高度...
【专利技术属性】
技术研发人员：高晗，伊蕾娜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。