一种基于知识蒸馏的图像压缩质量增强方法技术

本发明专利技术公开了一种基于知识蒸馏的图像压缩质量增强方法，包括：使用目标编码器的原有优化目标A与期望的优化目标B各自对辅助编码器进行优化，获得优化后的两个辅助编码器；利用优化后的两个辅助编码器各自对同一图像进行编码，获得图像的两种码率分配结果；使用两种码率分配结果，对目标编码器的编码参数进行调整；利用编码参数调整后的目标编码器对图像进行编码。通过该方法既可以有效面向非均方误差的指标进行优化，又无需修改解码器。又无需修改解码器。又无需修改解码器。

【技术实现步骤摘要】
一种基于知识蒸馏的图像压缩质量增强方法


[0001]本专利技术涉及图像压缩
，尤其涉及一种基于知识蒸馏的图像压缩质量增强方法。

技术介绍

[0002]目前，在压缩效率上最先进的混合框架图像编码方法是BPG(Better Portable Graphics，更好的便携式图形)，它同时也是基于视频编码标准H.265的帧内编码改造而来。拥有更先进的帧内编码的新一代视频编码标准H.266相比H.265在同样的质量下节省了30％以上的码率。经过几十年的不断发展，混合框架图像编码在压缩效率不断增长的同时，系统复杂度变得越来越高，单个技术的性能变得越来越小，已在一定程度上趋于饱和。所有这些方法，主要地，使用均方误差作为优化的目标。目前，随着图像编码的应用越来越广，对于图像编码的要求越来越高，以均方误差作为优化目标已经难以满足各种不同场合下的需求，所以需要考虑其他优化目标，例如，图像的主观质量、图像的分类效果等，满足人眼视觉和机器视觉等的需求。但是将其他优化目标整合进传统混合框架图像编码中并不容易，这是因为传统混合框架图像编码主要地面向均方误差进行优化，其中的技术有很多都难以改编为面向其他目标优化。虽然有一些将非均方误差的指标集成进传统混合框架图像编码中的尝试，不过这些尝试均为人工设计，性能不高。因此，如何改造混合框架图像编码，使之面向不同于均方误差的优化目标，是一个难题。
[0003]近年来，一系列研究工作试图构建基于深度神经网络的图像编码框架。这些工作提出了端到端深度学习图像编码模型，模型联合优化了变换、量化、熵编码等多个模块。端到端深度学习图像编码模型，相对于传统的图像编码具有许多优势，其中优势之一是可以较为简单地通过调整训练网络时的损失函数，来优化各种不同的评价指标。例如，在MS
‑
SSIM(多尺度结构相似性)这一指标上，以此作为损失函数的端到端深度学习图像编码相对于BPG节省了50％的码率。但是，端到端深度学习图像编码的解码器也是基于深度神经网络的，解码复杂度相比混合框架图像编码高得多，因此它目前还很难应用在现实场景。

技术实现思路

[0004]本专利技术的目的是提供一种基于知识蒸馏的图像压缩质量增强方法，用于改造图像编码，使之面向非均方误差的指标进行优化。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种基于知识蒸馏的图像压缩质量增强方法，包括：
[0007]使用目标编码器的原有优化目标A与期望的优化目标B各自对辅助编码器进行优化，获得优化后的两个辅助编码器；
[0008]利用优化后的两个辅助编码器各自对同一图像进行编码，获得图像的两种码率分配结果；
[0009]使用两种码率分配结果，对目标编码器的编码参数进行调整；
[0010]利用编码参数调整后的目标编码器对图像进行编码。
[0011]由上述本专利技术提供的技术方案可以看出，基于知识蒸馏的图像压缩质量增强方法既可以有效对混合框架图像编码面向非均方误差的指标进行优化，又无需修改其解码器。
附图说明
[0012]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0013]图1为本专利技术实施例提供的一种基于知识蒸馏的图像压缩质量增强方法的流程图。
具体实施方式
[0014]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0015]本专利技术实施例提供一种基于知识蒸馏的图像压缩质量增强方法，如图1所示，其主要包括如下步骤：
[0016]步骤1、使用目标编码器的原有优化目标A与期望的优化目标B各自对辅助编码器进行优化，获得优化后的两个辅助编码器。
[0017]本专利技术实施例中，辅助编码器是一种可以较为容易地面向不同优化目标进行优化的图像编码器，例如，可以是端到端深度学习的图像编码器。
[0018]示例性的：原有优化目标A可以为均方误差(MSE)，期望的优化目标B可以为多尺度结构相似性(MS
‑
SSIM)。
[0019]本步骤的优选实施方式如下：
[0020]1)选择一种端到端深度学习图像编码器作为辅助编码器。示例性地，可以使用现有文献提出的方法作为端到端深度学习图像编码方案。
[0021]2)使用目标编码器原本的优化目标对辅助编码器进行训练，得到第一个模型。示例性地，目标编码器为H.266参考软件(称作VTM)中默认配置的帧内编码器，其原本优化目标为MSE，则此处是用MSE对辅助编码器进行训练。
[0022]3)使用期望得到的优化目标，对辅助编码器进行训练，得到第二个模型。示例性地，使用MS
‑
SSIM对辅助编码器进行训练。
[0023]步骤2、利用优化后的两个辅助编码器各自对同一图像进行编码，获得图像的两种码率分配结果。
[0024]本专利技术实施例中，可以在编码后通过计算隐变量的熵得到码率分配结果，令表示任一辅助编码器编码后的隐变量，表示相应的先验超参，C表示相应的隐变量通道数目，i为通道索引，M表示码率分配结果，则码率分配结果计算公式为：
[0025][0026]本领域技术人员将可以理解，隐变量是通过深度学习网络变换得到，深度学习图像编码就是通过对隐变量进行编码实现的，可以通过估计隐变量的码率分布得到深度学习图像编码编码图像的码率分布，上面提供的式子是用信息熵来计算隐变量的码率分布，是深度学习图像编码码率估计通用的方法。概率值中左侧的下标指对隐变量值分布的估计，右侧的为隐变量值的实际分布，如果概率越大估计的越准，需要的码率越少，反之亦然。
[0027]如之前步骤1所提供的示例，以MSE作为优化目标的辅助编码器和以MS
‑
SSIM作为优化目标的辅助编码器对图像进行编码后，通过上述公式各自计算出码率分配结果M。
[0028]步骤3、使用两种码率分配结果，对目标编码器的编码参数进行调整。
[0029]本专利技术实施例中，可以使用得到的两种码率分配结果指导目标编码器的码率分配，具体可通过调整编码参数实现。
[0030]本步骤的优选实施方式如下：
[0031]1)将两种码率分配结果进行归一化，消除码率绝对值大小的影响。
[0032]2)利用两个归一化后的码率分配结果，得到目标编码器的编码参数。示例性地，可以使用码率分配指导H.266帧内编码每个编码块的量化步长实现码率分配。调整方法可以是先用不同量化步长编码一组图像，得到量化步长与码率的关系，之后就可以通过两个归一化后的码率分配的比值估计码率，从而得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的图像压缩质量增强方法，其特征在于，包括：使用目标编码器的原有优化目标A与期望的优化目标B各自对辅助编码器进行优化，获得优化后的两个辅助编码器；利用优化后的两个辅助编码器各自对同一图像进行编码，获得图像的两种码率分配结果；使用两种码率分配结果，对目标编码器的编码参数进行调整；利用编码参数调整后的目标编码器对图像进行编码。2.根据权利要求1所述的一种基于知识蒸馏的图像压缩质量增强方法，其特征在于，所述使用目标编码器的原有优化目标A与期望的优化目标B各自对辅助编码器进行优化包括：使用端到端深度学习图像编码器作为辅助编码器，原有优化目标A为均方误差，期望的优化目标B为多尺度结构相似性；使用均方误差与多尺度结构相似性这两种优化目标，各自对辅助编...

【专利技术属性】
技术研发人员：刘东，杨闰宇，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：