视频和相关特征的可分级译码制造技术

本发明专利技术涉及图像的可分级编码和解码。具体地，图像由训练过的模块中的一个或多个网络层进行处理，得到基本层特征。然后，通过训练过的网络在样本域中进行处理等方式得到增强层特征。基本层特征用于计算机视觉处理。基本层特征与增强层特征都用于与人类视觉等相关的图像重建。基本层特征和增强层特征在相应的基本层码流和增强层码流中进行译码。因此，提供了支持计算机视觉处理和/或图像重建的可分级译码。码。码。

【技术实现步骤摘要】
【国外来华专利技术】视频和相关特征的可分级译码


[0001]本专利技术涉及视频图像及其图像特征的可分级编码和解码。

技术介绍

[0002]视频译码(视频编码和解码)用于广泛的数字视频应用，例如，广播数字电视、基于互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统、移动设备视频录制和视频安全摄像机。
[0003]自1990年在H.261标准中开发基于块的混合视频编码方法以来，新的视频编码技术和工具相继出现，为新的视频编码标准奠定了基础。大多数视频编码标准的其中一个目标是，与前一代标准相比，在保证图像质量的情况下降低码率。其它视频编码标准包括MPEG
‑
1视频、MPEG
‑
2视频、ITU
‑
T H.262/MPEG
‑
2、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4第10部分、高级视频编码(Advanced Video Coding，AVC)、ITU
‑
T H.265、高效视频编码(High Efficiency Video Coding，HEVC)、ITU
‑
T H.266、通用视频编码(Versatile Video Coding，VVC)和这些标准的扩展版本，例如，可分级性和/或三维(three
‑
dimension，3D)扩展版本。
[0004]视频图像的编码和解码(即压缩和解压缩)也适用于视频监控等需要检测和识别静止目标物体和/或移动目标物体的应用。在目前的视频监控技术方案中，视频在摄像机等终端(用户或客户端)侧压缩，并且传输到服务器。这些服务器可以是云的一部分。在云端，压缩视频则进行重建和进一步分析。视频的编码和解码可以由兼容H.264/AVC、HEVC(H.265)、VVC(H.266)或其它视频编码技术等的标准视频编码器和解码器执行。
[0005]一方面，用于物体检测或脸部识别等用途的计算机视觉(computer vision，CV)算法用于从视频(即视频图像)中提取有用信息。典型的检测和识别CV算法从根本上基于从视频中提取的特征，或者更准确地说，基于从视频序列的各个帧中提取的特征。特征包括传统特征，例如，尺度不变特征变换(scale invariant feature transform，SIFT)、加速鲁棒特征(speeded
‑
up robust feature，SURF)和二进制鲁棒独立基本特征(binary robust independent elementary feature，BRIEF)。需要说明的是，传统特征直接根据输入图像来计算，例如，基于像素的梯度计算、图像等的亮度(或色度)的最大值或最小值。
[0006]近年来，基于深度神经网络(deep neural network，DNN)的特征激发了越来越多的兴趣，尤其是在计算机视觉方面(也称为机器视觉)。这些DNN类型的特征在许多场景下更多地称为机器学习特征，这是因为DNN特征是从包括DNN等的机器学习模型中提取到的和/或分类得到的。另一方面，在一些应用中，实际上是人类观看视频，目的是查找CV算法可能丢失的信息，或者证明CV算法结果的正确性。
[0007]然而，人类并不理解CV算法用来执行视频图像分析的特征，因此人类实际上在服务器端(云端)观看视频。因此，在视频监控中，视频经过译码(编码)和传输(例如，上传到云服务器)，而且CV算法也使用高质量特征来提供快速准确的图像分析结果。相应地，在同时执行计算机视觉(computer
‑
vision，CV)处理和人类视觉(human
‑
vision，HV)图像处理的多
任务协同智能的情况下，可能需要对特征进行高效译码，以便同时执行CV和HV的处理操作。

技术实现思路

[0008]本专利技术实施例由独立权利要求的特征限定，实施例的其它有利实现方式由从属权利要求的特征限定。
[0009]根据本专利技术的一方面，提供了一种用于对输入图像进行编码的装置。所述装置包括处理电路，所述处理电路用于：生成潜在空间中的用于计算机视觉处理的基本层特征，其中，所述生成基本层特征包括：使用训练过的网络中的一个或多个基本层网络层来处理所述输入图像；根据所述输入图像，生成用于重建所述输入图像的增强层特征；将所述基本层特征编码到基本层码流中，并将所述增强层特征编码到增强层码流中。
[0010]这种编码的优点之一是提供了两个码流，这样实现了一种可分级性，即可以对这两个码流采用不同的使用方式：基本层码流可以独自用于计算机视觉任务，而不需要获取(解码或甚至接收)增强层特征。另一方面，当需要图像重建时，可以使用两个码流。
[0011]例如，所述处理电路用于：通过使用所述训练过的网络中的一个或多个增强层网络层来处理所述输入图像，生成所述潜在空间中的所述增强层特征；将所述潜在空间中的特征细分为所述基本层特征和所述增强层特征。
[0012]将通过训练过的网络处理输入图像所得到的特征的潜在空间分成两部分是确定基本层特征和增强层特征的一种简单高效方法。
[0013]在一些实施例中，所述处理电路用于通过以下操作生成所述增强层特征：根据所述基本层特征重建基本层图像；根据所述输入图像和所述基本层图像确定所述增强层特征。
[0014]这样，码流中提供的基本层特征也可以用于确定增强层，从而可以利用这两者之间的相关性对码流进行更高效的编码。
[0015]例如，所述确定所述增强层特征基于所述输入图像和所述基本图像之间的差值。
[0016]因此，增强特征可以通过简单的差值计算进行高效编码。此外，一些现有的残差编码方法可以用于对这些增强层特征进行编码。
[0017]例如，所述输入图像是视频中的一帧，所述处理电路用于为所述视频中的单个帧或多个帧生成所述基本层特征和所述增强层特征(以及可选地生成相应的基本层码流和增强层码流)。
[0018]逐帧特征提取以及特征码流和视频码流的基于帧的关联关系可以根据从中提取特征的帧在经重建视频中定位特征。这表示不需要对整个视频进行解码，只需要对包括该特征的视频帧进行解码。
[0019]差分编码的可能性带来的优点是，将根据经解码特征重建的视频图像用作预测值提高了视频压缩比。换句话说，差分视频编码是非常高效的。
[0020]根据一种示例性实现方式，所述处理电路还用于将所述基本层特征和所述增强层特征按帧复用到码流中。
[0021]因此，基本层特征和增强层特征可以由编码器在单个码流中提供，但仍然以可分离的方式提供。逐帧视频特征关联关系可以快速定位视频或视频码流中的特征。因此，与视频帧对应的特征能够快速检索到，并且可以用于执行计算机视觉(computer vision，CV)处
理任务。另外，增强信息可以用于重建对应的视频帧，从该视本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对输入图像进行编码的装置(1600)，其特征在于，所述装置包括：处理电路(1610)，用于：生成潜在空间中的用于计算机视觉处理的基本层特征，其中，所述生成基本层特征包括：使用训练过的网络中的一个或多个基本层网络层来处理所述输入图像；根据所述输入图像，生成用于重建所述输入图像的增强层特征；将所述基本层特征编码到基本层码流中，并将所述增强层特征编码到增强层码流中。2.根据权利要求1所述的装置，其特征在于，所述处理电路用于：通过使用所述训练过的网络在的一个或多个增强层网络层来处理所述输入图像，生成所述潜在空间中的所述增强层特征；将所述潜在空间中的特征细分为所述基本层特征和所述增强层特征。3.根据权利要求1所述的装置，其特征在于，所述处理电路用于通过以下操作生成所述增强层特征：根据所述基本层特征重建基本层图像；根据所述输入图像和所述基本层图像确定所述增强层特征。4.根据权利要求3所述的装置，其特征在于，所述确定所述增强层特征基于所述输入图像和所述基本图像之间的差值。5.根据权利要求1至4所述的装置，其特征在于，所述输入图像是视频中的一帧，所述处理电路用于为所述视频中的多个帧生成所述基本层特征和所述增强层特征。6.根据权利要求1至5所述的装置，其特征在于，所述处理电路还用于将所述基本层特征和所述增强层特征按帧复用到码流中。7.根据权利要求1至6中任一项所述的装置，其特征在于，所述处理电路还用于对包括所述增强层特征的码流的一部分进行加密。8.一种用于处理码流的装置(1800)，其特征在于，所述装置包括：处理电路(1810)，用于：获取包括潜在空间中的基本层特征的基本层码流和包括增强层特征的增强层码流；从所述基本层码流中提取所述基本层特征；执行以下至少一个操作：根据所述基本层特征执行计算机视觉处理；从所述增强层码流中提取所述增强层特征，并根据所述基本层特征和所述增强层特征重建图像。9.根据权利要求8所述的装置，其特征在于，所述重建图像包括：组合所述基本层特征和所述增强层特征；根据所述组合特征重建所述图像。10.根据权利要求8所述的装置，其特征在于，所述计算机视觉处理包括：通过第一训练过的子网络中的一个或多个网络层处理所述基本层特征。11.根据权利要求8至10所述的装置，其特征在于，所述重建图像包括：通过与所述第一训练过的子网络不同的第二训练过的子网络中的一个或多个网络层处理所述组合特征。12.根据权利要求8所述的装置，其特征在于，所述重建图像包括：根据所述基本层特征重建基本层图像；
将...

【专利技术属性】
技术研发人员：亚历山大，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：