一种视频压缩方法及电子设备技术

本发明专利技术公开了一种视频压缩方法及电子设备，该方法包括：通过获取待压缩视频，待压缩视频包括至少一个待压缩数据帧；针对每个待压缩数据帧，如果待压缩数据帧为非首帧数据帧，根据待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，目标视频编码网络中包括残差提取网络，残差提取网络用于从特征空间进行残差提取；根据各待压缩数据帧所对应的当前解码帧确定压缩后的视频，解决了视频压缩性能较差的问题，通过目标视频编码网络中的残差提取网络从特征空间进行残差提取，将编码压缩的过程从像素空间转换到特征空间，可以减轻误差，获得更好的视频压缩性能，无需进行运动估计和运动补偿，提高了视频压缩效果。提高了视频压缩效果。提高了视频压缩效果。

【技术实现步骤摘要】
一种视频压缩方法及电子设备


[0001]本专利技术涉及一种图像处理
，尤其涉及一种视频压缩方法及电子设备。

技术介绍

[0002]传统的视频编码标准已经沿用了几十年，如今所有正在使用或即将使用的标准都遵循了相同的框架，即包括运动估计、运动补偿、基于块的变换和手工的熵编码等模块。随着深度学习在视频领域的广泛应用以及其在视频领域展现出来的巨大潜力，基于深度学习的视频压缩研究也越发的火热起来。大多数深度视频压缩方法都有类似的框架，包括运动估计、运动补偿和残差压缩等模块。许多运动估计模块使用光流网络来估计运动矢量。
[0003]但是，使用光流网络来估计运动矢量时很难产生准确的像素级光流信息，尤其是对于具有复杂非刚性运动模式的视频。所有光流方法都需要对光流进行精确估计，即使使用最佳的光流估计网络，也很难获得高质量的运动矢量。此外即使能够提取足够准确的运动信息，基于warp操作的运动补偿也可能由于光流值的准确性不够高而导致解码帧序列中出现伪影。同时由于变化的光线也会被错误的识别为光流，因此该方法对光线敏感，从而会影响到识别效果。因此，在视频压缩时，如何保证压缩性能成为有待解决的问题。

技术实现思路

[0004]本专利技术提供了一种视频压缩方法及电子设备，以解决视频压缩性能较差的问题。
[0005]根据本专利技术的一方面，提供了一种视频压缩方法，包括：
[0006]获取待压缩视频，所述待压缩视频包括至少一个待压缩数据帧；
[0007]针对每个待压缩数据帧，如果所述待压缩数据帧为非首帧数据帧，根据所述待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，所述目标视频编码网络中包括残差提取网络，所述残差提取网络用于从特征空间进行残差提取；
[0008]根据各所述待压缩数据帧所对应的当前解码帧确定压缩后的视频。
[0009]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0010]至少一个处理器；以及
[0011]与所述至少一个处理器通信连接的存储器；其中，
[0012]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的视频压缩方法。
[0013]本专利技术实施例的技术方案，通过获取待压缩视频，待压缩视频包括至少一个待压缩数据帧；针对每个待压缩数据帧，如果待压缩数据帧为非首帧数据帧，根据待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，目标视频编码网络中包括残差提取网络，残差提取网络用于从特征空间进行残差提取；根据各待压缩数据帧所对应的当前解码帧确定压缩后的视频，解决了视频压缩性能较差的问题，通过预先训练得到目标视频编码网络对待压缩数据帧进行处理，实现了端到端的视频压缩，在处理过程中结合
待压缩数据帧的上一解码帧提高了视频压缩质量，本申请实施例的目标视频编码网络中包括残差提取网络，残差提取网络用于从特征空间进行残差提取，目标视频编码网络通过在特征空间提取残差进行视频压缩，将编码压缩的过程从像素空间转换到特征空间，可以减轻不准确的像素级操作带来的误差，从而获得更好的视频压缩性能，本申请中的目标视频编码网络无需进行运动估计和运动补偿，因此可以避免光流网络带来的缺点，可以在实现视频压缩的同时保证视频压缩性能，提高视频压缩效果。
[0014]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是根据本专利技术实施例一提供的一种视频压缩方法的流程图；
[0017]图2是根据本专利技术实施例二提供的一种视频压缩方法的流程图；
[0018]图3是根据本专利技术实施例二提供的一种确定残差结果的实现示例图；
[0019]图4是根据本专利技术实施例三提供的一种视频压缩装置的结构示意图；
[0020]图5是实现本专利技术实施例的视频压缩方法的电子设备的结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]实施例一
[0024]图1为本专利技术实施例一提供了一种视频压缩方法的流程图，本实施例可适用于对视频进行压缩的情况，该方法可以由视频压缩装置来执行，该视频压缩装置可以采用硬件和/或软件的形式实现，该视频压缩装置可配置于电子设备中。如图1所示，该方法包括：
[0025]S101、获取待压缩视频，待压缩视频包括至少一个待压缩数据帧。
[0026]在本实施例中，待压缩视频具体可以理解为具有压缩需求的视频，待压缩视频可
以用户通过录像机、手机、平板电脑等设备录制的视频，也可以是从网络上下载的视频，还可以是通过软件制作的视频等。待压缩数据帧具体可以理解为构成待压缩视频的数据帧，可以是图像帧，也可以是图像帧加上音频帧。
[0027]具体的，待压缩视频可以由用户指定，用户通过手动操作确定待压缩视频，例如，本实施例的视频压缩方法由视频压缩软件执行，用户可以选择一段视频并将其移动到视频压缩软件中作为待压缩视频进行压缩，或者，用户在选中一段视频中，选择视频压缩软件对其进行压缩处理，此时用户所选中的视频即可以作为待压缩视频；还可以自动选择视频作为待压缩视频，例如设置一定的条件，将满足条件的视频作为待压缩视频进行处理。在获取待压缩视频后，对待压缩视频进行解析，将构成待压缩视频的数据帧作为待压缩数据帧。
[0028]S102、针对每个待压缩数据帧，如果待压缩数据帧为非首帧数据帧，根据待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，目标视频编码网络中包括残差提取网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频压缩方法，其特征在于，包括：获取待压缩视频，所述待压缩视频包括至少一个待压缩数据帧；针对每个待压缩数据帧，如果所述待压缩数据帧为非首帧数据帧，根据所述待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，所述目标视频编码网络中包括残差提取网络，所述残差提取网络用于从特征空间进行残差提取；根据各所述待压缩数据帧所对应的当前解码帧确定压缩后的视频。2.根据权利要求1中所述的方法，其特征在于，还包括：如果所述待压缩数据帧为首帧数据帧，则对所述待压缩数据帧进行图像编码，确定所述待压缩数据帧对应的当前解码帧。3.根据权利要求1所述的方法，其特征在于，所述目标视频编码网络还包括：特征提取网络、残差处理网络和帧重构网络；相应的，所述根据所述待压缩数据帧及上一解码帧结合预训练的目标视频编码网络确定当前解码帧，包括：将所述待压缩数据帧及上一解码帧输入到特征提取网络中，得到所述特征提取网络所输出的第一特征表示和第二特征表示；根据所述第一特征表示和第二特征表示确定输入序列；将所述输入序列输入到所述残差提取网络中，得到所述残差提取网络所输出的残差结果；将所述残差结果输入到所述残差处理网络中，得到第一重构特征；将所述第一重构特征输入到所述帧重构网络中，得到当前解码帧。4.根据权利要求3所述的方法，其特征在于，所述残差提取网络包括：第一金字塔网络、第二金字塔网络和三维卷积网络，所述第一金字塔网络和第二金字塔网络为对称结构；相应的，所述将所述输入序列输入到所述残差提取网络中，得到所述残差提取网络所输出的残差结果，包括：将所述输入序列输入至所述第一金字塔网络中进行卷积处理，得到第一卷积特征和至少一个中间卷积特征；将所述第一卷积特征和至少一个中间卷积特征输入至所述第二金字塔网络中进行特征融合处理，得到第二卷积特征；将所述第二卷积特征输入到所述三维卷积网络中，得到残差结果。5.根据权利要求4中所述的方法，其特征在于，所述将所述第一卷积特征输入至所述第二金字塔网络中进行特征融合处理，得到第二卷积特征，包括：对所述第一卷积特征进行三维卷积，得到初始卷积特征；对所述初始卷积特征进行采样，并将采样结果与对应的中间卷积特征进行特征融合，得到融合特征；将所述融合特征作为新的初始卷积特征，返回执行所述对所述初始卷积特征进行采样，并将采样结果与对应的中间卷积特征进行特征融合，得到融合特征的步骤，直到满足融合结束条件；对最后一个融合特征进行采样处理，...

【专利技术属性】
技术研发人员：骆剑平，刘祉辰，
申请(专利权)人：深圳大学，
类型：发明
国别省市：