【技术实现步骤摘要】
本公开涉及视频编码领域，并且具体地，涉及适合于视频监控应用的增强型视频编码的实施。
技术介绍
1、增强视频编码指将一个或多个增强层添加到以基本编解码器编码的基本视频，使得在将增强层与重构的基本视频组合时，产生增强的视频流的技术。增强层将诸如压缩能力扩展、较低的编码/解码复杂度、提高的分辨率和重构视频的提高的质量的改进的特征提供给现有的编解码器。基本视频和一个或多个增强层的组合可以被称为混合视频流。
2、在这些技术中，低复杂度增强视频编码(lcevc)规范或mpeg-5是由iso/iec jtc1/sc29/wg04(mpeg)视频编码批准的最新标准。它在其他编码方案之上工作，产生多层视频编码技术，并且独立于基本视频添加增强层。lcevc技术将较低分辨率的解码视频作为输入，并且基于与原始质量的输入视频的比较，添加多达两个增强子层的残差，残差以诸如简单时间预测、频率变换、量化和熵编码的专门的低复杂度编码工具编码。lcevc标准的主要特征的介绍可以在以下参考文献中的任何一个中找到：
3、[1]s.battista等人，“低复杂度增强视频编码(lcevc)标准概述”，ieee视频技术电路和系统汇刊，第32卷，第11期，第7983-7995页(doi：10.1109/tcsvt.2022.3182793)，2022年；
4、[2]“低复杂度增强视频编码(lcevc)白皮书”，iso/iec jtc1/sc29/ag3 n0058，2022年1月；
5、[3]wo2020188273a1。p>
6、lcevc标准规范被发布为：
7、[4]iso/iec 23094-2—信息技术—通用视频编码—第2部分：低复杂度增强视频编码，标准iso/iec 23094-2：2021，2021年11月；
8、[5]iso/iec 23094-3—信息技术—通用视频编码—第3部分：低复杂度增强视频编码的一致性和参考软件，标准iso/iec 23094-3：2021，2022年。
9、lcevc的设计预见了对基本层压缩视频表示的多达两个子层的增强。第一层(子层1)是可选的并且能够通过lcevc比特流中的对应的信令来禁用，而第二层(子层2)是强制性的。与第一层不同，第二层包括尝试基于缓冲值预测每个残差块或者在没有时间预测的情况下编码该块的时间预测阶段。对于给定的块，对于不同的视频帧是否要使用时间预测的决定可能是不同的。因此，当以两个子层操作lcevc时，很大一部分的增强数据将在没有时间预测的情况下，在子层1中被编码。经验似乎证实了，对于在本地具有强时间相关性(这是在视频监控应用中获取的数据的特性)的视频数据，两层lcevc的编码效率相对较差。在这种视频数据通常具有强时间相关性或者当考虑每个帧的区域时能够观察到强时间相关性的情况下，将希望改进数据压缩。
技术实现思路
1、本公开的一个目标是要提出具有识别视频数据具有强时间相关性的片段的能力的增强视频编码技术，并且利用时间相关性以改善诸如编码效率、数据压缩效率或[1]中讨论的质量指标中的任何一种的各种性能方面。编码效率越好，达到特定视频质量水平所需的比特率就越低。另一个目标是要提出能够利用被限制到输入视频的每个帧的区域的时间相关性(局部时间相关性)的增强视频编码技术。进一步的目标是要提高两层lcevc在具有强局部时间相关性的视频数据方面的性能。进一步的目标是使lcevc特别适合于视频监控应用。更进一步的目标是要提出最低限度地干扰现有的lcevc设计的这种适合。
2、这些目标中的至少一些由独立权利要求限定的本公开实现。从属权利要求涉及有利的实施例。
3、按照本公开的第一方面，提供将包括视频帧的序列的输入视频编码为混合视频流的方法。该方法包括：将输入视频从原始空间分辨率下采样到降低的空间分辨率和中间空间分辨率；将降低的空间分辨率下的输入视频提供给基本编码器，以获得基本编码流；通过基于输入视频与中间空间分辨率下的重构视频之间的差异生成一组第一残差来提供第一增强流(例如，重构视频可以已经通过解码基本编码流并对输出进行上采样而获得)，量化该组第一残差，并且从该组量化的第一残差形成第一增强流；通过基于输入视频与原始空间分辨率下的重构视频之间的差异生成一组第二残差来提供第二增强流(例如，从中间空间分辨率下的重构视频开始，原始空间分辨率下的重构视频可以已经通过添加第一残差的重构并对输出进行上采样而获得)，量化该组第二残差，并且从该组量化的第二残差形成第二增强流；以及从基本编码流、第一增强流和第二增强流形成混合视频流。第二增强流至少部分地使用时间预测编码(即，至少一些块、一些帧或一些时间段使用时间预测编码)，并且进一步包括指示是否使用时间预测的时间信令。根据第一方面，方法进一步包括：检测视频帧中的至少一个非运动区域；以及使得该组第一残差在整个非运动区域中变为零。优选地，不使该组第二残差在非运动区域中变为零。
4、与本公开的第一方面相关联的优点在于，第一增强流将基本上不含与非运动区域相关的数据。更准确地说，专利技术人已经认识到，当应用于具有强局部时间相关性的视频数据时，两层lcevc的低编码效率主要是由于第一增强层。第一增强流是在没有时间预测的情况下被编码的，并且因此不可能是具有强时间相关性的输入视频的最佳编码载体。相反，基本上所有非运动区域的增强编码将通过其中时间预测是可用的第二增强流(lcevc标准中的子层2)来实施。本公开的第一方面的进一步的优点是，解码侧不需要修改。解码器能够在不知道混合视频流是使用在本文中公开的教导准备的情况下，正确地将混合视频流解码。
5、在本公开的术语中，如果该组第一残差的值在整个非运动区域中是零或约等于零，称该组第一残差在这里“变为零”。与精确零的可接受偏差可以与与基本编码器相关的编码假象、上采样/下采样假象、信号噪声以及通常在执行该方法的实体的影响之外的类似贡献相对应。下面将介绍为了实现这种变为零能够采取的多种不同措施。然而，应理解，方法的实现通常将具有诸如2×2或4×4像素块结构的有限的粒度，这意味着除非残差块完全位于非运动区域中，否则通常不能使残差块变为零。因此，在本公开的范围内，与非运动区域仅部分重叠的残差块没有必要完全变为零。关于第一残差是变换系数(例如，通过将变换核应用于输入视频与重构视频之间的逐像素差异块来生成残差块)的实现，应更进一步理解，除非底层像素块完全位于非运动区域中，否则系数块通常不能因在本文中公开的措施的作用而变为零。在这些示例中的每一个中，即使该组第一残差的不完全变为零也将实现目标效果，即基本上所有非运动区域的增强编码将借助于第二增强流来实施。
6、在第一组实施例中，作为应用于该组量化的第一残差的掩码的结果，该组第一残差在整个非运动区域中变为零。掩码可以包括以零或中性值替换与非运动区域相关的那些量化的第一残差。
7、在第二组实施例中，作为以替代视频替换中间空间分辨率下的输入视频的结果，该组第一残差在整本文档来自技高网...
【技术保护点】
1.一种将包括视频帧的序列的输入视频编码为混合视频流的方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，通过将掩码应用于所述一组量化的第一残差，使所述一组第一残差在整个所述非运动区域中变为零。
3.根据权利要求1所述的方法，其中，通过以下步骤使所述一组第一残差在整个所述非运动区域中变为零：
4.根据权利要求3所述的方法，其中，对所述输入视频进行下采样包括：
5.根据权利要求1所述的方法，其中，通过对所述输入视频与所述中间空间分辨率下的重构视频之间的差异应用掩码或者通过在所述量化之前将掩码应用于所述一组第一残差，使所述一组第一残差在整个所述非运动区域中变为零。
6.根据权利要求1所述的方法，其中，通过以下步骤使所述一组第一残差在整个所述非运动区域中变为零：
7.根据权利要求1所述的方法，其中，所述第一增强流的每个视频帧是在不参考所述第一增强流的任何其他视频帧的情况下可解码的。
8.根据权利要求1所述的方法，其中，提供所述第二增强流进一步包括：对于视频帧中的每一组第二残差或每一组量化的第
9.根据权利要求1所述的方法，其中，在所述原始空间分辨率下的所述输入视频的视频帧中或者在所述中间空间分辨率下的所述输入视频的视频帧中检测所述至少一个非运动区域。
10.根据权利要求1所述的方法，其中，所述中间空间分辨率比所述降低的空间分辨率更精细，或者所述中间空间分辨率和所述降低的空间分辨率相等。
11.根据权利要求1所述的方法，其中，通过将尺寸为2×2像素或4×4像素的变换核应用于所述输入视频与所述重构视频之间的差异，来生成所述第一残差和/或所述第二残差。
12.根据权利要求11所述的方法，其中，所述变换核是低复杂度增强视频编码LCEVC变换核。
13.根据权利要求1所述的方法，其中，所述一组第一残差和所述一组第二残差使用不同的量化级别来量化。
14.一种装置，包括被布置为执行权利要求1的所述方法的处理电路。
15.一种非暂时性计算机可读存储介质，具有存储在其上的包括指令的计算机程序，当所述程序由处理电路执行时，所述指令使所述处理电路实施权利要求1的所述方法。
...【技术特征摘要】
1.一种将包括视频帧的序列的输入视频编码为混合视频流的方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，通过将掩码应用于所述一组量化的第一残差，使所述一组第一残差在整个所述非运动区域中变为零。
3.根据权利要求1所述的方法，其中，通过以下步骤使所述一组第一残差在整个所述非运动区域中变为零：
4.根据权利要求3所述的方法，其中，对所述输入视频进行下采样包括：
5.根据权利要求1所述的方法，其中，通过对所述输入视频与所述中间空间分辨率下的重构视频之间的差异应用掩码或者通过在所述量化之前将掩码应用于所述一组第一残差，使所述一组第一残差在整个所述非运动区域中变为零。
6.根据权利要求1所述的方法，其中，通过以下步骤使所述一组第一残差在整个所述非运动区域中变为零：
7.根据权利要求1所述的方法，其中，所述第一增强流的每个视频帧是在不参考所述第一增强流的任何其他视频帧的情况下可解码的。
8.根据权利要求1所述的方法，其中，提供所述第二增强流进一步包括：对于视频帧中的每一组第二残差或每一组量化的第二残差，确定是否要使用参考一个或多个其他...
【专利技术属性】
技术研发人员：马尔特·约翰逊，维克托·埃德帕尔姆，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。