基于增强型多尺度残差生成对抗网络的图像压缩方法技术

本发明专利技术公开了基于增强型多尺度残差生成对抗网络的图像压缩方法，涉及图像压缩技术领域

【技术实现步骤摘要】
基于增强型多尺度残差生成对抗网络的图像压缩方法


[0001]本专利技术涉及图像压缩
，特别涉及基于增强型多尺度残差生成对抗网络的图像压缩方法
。

技术介绍

[0002]随着深度学习技术的飞速发展，基于深度神经网络的图像压缩系统，或简称为深度压缩系统，已成为一个广受关注的研究领域
。
这些系统通常可以与现代工程编解码器竞争，然而，目前主流的深度压缩系统通常只针对传统失真度量进行优化，当图像压缩比较高时，图像会变得十分模糊
。
因此，为了进一步提升深度图像压缩系统的性能，使其能在低码率下获得高质量图像，寻找
PSNR
和
MS
‑
SSIM
这类传统失真度量之外的新优化目标非常重要
。
实现这一目标的一个有希望的候选者是对抗性损失
。
[0003]自从引入
GAN
以来，
GAN
在图像生成方面取得了快速进展
。
此外，对抗性损失还可用于改善基于神经网络压缩算法的图像视觉质量，然而该方法在其损失函数中未使用码率项进行稳定训练，这可能导致次优码率
。
现有技术中，基于
GAN
的生成压缩方法，以端到端的方式训练整个编码器和解码器网络，在极低的码率下生成视觉感知上细腻的压缩重建
。
上述方法改善了基于
GAN
的网络框架训练困难的问题，然而，这些方法均忽略了压缩导致的图像伪影问题
。

技术实现思路

[0004]本专利技术的目的在于提供基于增强型多尺度残差生成对抗网络的图像压缩方法，由目前最先进的自动编码器和一个判别器所构成网络框架，自动编码器结构中加入了改进的增强型多尺度残差块和简易的注意力模块以提升模型性能，能够在低码率下重建出具有更好感知质量的图像，以解决上述
技术介绍
中提出的问题
。
[0005]为实现上述目的，本专利技术提供如下技术方案：基于增强型多尺度残差生成对抗网络的图像压缩方法，所述方法包括以下步骤：步骤一：构建图像压缩框架：所述框架包括自动编码器和判别器，其中，自动编码器由核心子网和超子网组成，核心子网包括编码器和生成器，超子网包括超编码器和超解码器；步骤二：优化图像压缩框架：在所述框架中插入增强型多尺度残差块和简化注意力模块，采用相对平均马尔可夫判别器将压缩模型关注图像细节；步骤三：获取压缩结果：引入学习的学习感知图像块相似度感知损失来减轻图像伪影，并采用两阶段训练方式进行稳定训练，获取基于增强型多尺度残差生成对抗网络的图像压缩生成的压缩图像
。
[0006]进一步的，针对步骤一中，所述图像压缩框架，其具体流程过程包括：输入图像
x
，通过所述编码器进行网络学习，输出潜在表示为
y
；将熵模型学习量化后，获取量化后的潜在表示的概率模型，并将所述概率模型用
于熵编码，基于所述熵编码得到量化的图像表示为；所述超编码器中
z
为边信息，基于所述熵编码得到对应量化值表示为；最终
ŷ
经过生成器得到重建图像；输入图像
x
和重建图像分别输入至判别器中进行判别；其中，所述编码器包括四个降维作用的卷积层，末端为瓶颈层
。
[0007]进一步的，针对步骤二中，在所述框架中插入增强型多尺度残差块，具体为：在所述增强型多尺度残差块中，包括增强型多尺度残差块的输入
M
a
与输出
M
b
，和一个具有不同卷积核大小
k
的双分支网络；所述双分支网络获取不同尺度的全局信息，在所述一级卷积块中引入
1x1
的卷积块并在所述
1x1
的卷积块中加入广义分裂的标准化算子，获取所述双分支网络的输出数据，并将所述双分支网络的输出数据连接；将所述双分支网络的输出数据分别处理后传至下一级卷积块，再次将双分支网络的输出数据连接起来并再次处理，获得最终的输出
M
b
，同时，添加快捷连接将所述输入
M
a
加到最终的输出
Mb
中
。
[0008]进一步的，所述增强型多个残差块通过附加的快捷连接串联，所述增强型多尺度残差块在编码器和生成器中不对称使用，所述编码器采用一级增强型多尺度残差块，所述生成器采用两级增强型多尺度残差块
。
[0009]进一步的，针对步骤二中，简化注意力模块，具体为：在简化注意力模块中，包括获取注意力模块的输入
N
a
与输出
N
b
，和多个残差块；所述注意力模块获取输入
N
a
，去除部分残差块，基于网络框架训练简化注意力模块，获得最终的输出
N
b
，同时，添加快捷连接将所述输入
N
a
加到最终的输出
N
b
中
。
[0010]进一步的，针对步骤一中的判别器，用于预测真实图像比假图像相对更真实的概率，所述判别器损失定义为：，所述生成器的对抗性损失公式呈对称形式：，其中，表示对一批数据中所有真数据取平均值的操作，表示对一批数据中所有假数据取平均值的操作，的输出是一个矩阵不是单个值，矩阵中的每个值对应于判别器的整个输入图像的一个图像块，所述判别器尝试对图像中的每个图像块进行真假分类，并在图像块的规模上对结构进行惩罚
。
[0011]进一步的，针对步骤一中所述图像压缩框架，还包括所述框架的目标损失，具体为：码率损失
、
失真损失
、
感知损失和对抗性损失；对于所述失真损失，即采用均方差损失，其表示为： ，对于所述感知损失，即采用学习的学习感知图像块相似度损失；对于所述对抗性损失，即采用平均相对论损失；总体目标函数表示为：
L
total
=
α
L
r
+
λ1L
d
+
λ2L
per
+
λ3L
GAN
，
其中，
L
r
指的是码率损失，
L
d
指的是失真损失，
L
per
指的是感知损失，
L
GAN
指的是对抗损失，
α
与
λ1、
λ2、
λ3为超参数
。
[0012]进一步的，针对步骤三中，采用两阶段训练方式进行稳定训练，其过程具体包括：从互联网上收集大量的高分辨率图像组成训练集，将所述训练集中的高分辨率图像缩小至
500
到
1000
像素之间的随机大小；随机裁剪缩小后的所述高分辨率图像生成
256
×
256
的统一图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征在于：所述方法包括以下步骤：步骤一：构建图像压缩框架：所述框架包括自动编码器和判别器，其中，自动编码器由核心子网和超子网组成，核心子网包括编码器和生成器，超子网包括超编码器和超解码器；步骤二：优化图像压缩框架：在所述框架中插入增强型多尺度残差块和简化注意力模块，采用相对平均马尔可夫判别器将压缩模型关注图像细节；步骤三：获取压缩结果：引入学习的学习感知图像块相似度感知损失来减轻图像伪影，并采用两阶段训练方式进行稳定训练，获取基于增强型多尺度残差生成对抗网络的图像压缩生成的压缩图像
。2.
如权利要求1所述的基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征在于：针对步骤一中，所述图像压缩框架，其具体流程过程包括：输入图像
x
，通过所述编码器进行网络学习，输出潜在表示为
y
；将熵模型学习量化后，获取量化后的潜在表示的概率模型，并将所述概率模型用于熵编码，基于所述熵编码得到量化的图像表示为；所述超编码器中
z
为边信息，基于所述熵编码得到对应量化值表示为；最终经过生成器得到重建图像；输入图像
x
和重建图像分别输入至判别器中进行判别；其中，所述编码器包括四个降维作用的卷积层，末端为瓶颈层
。3.
如权利要求2所述的基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征在于：针对步骤二中，在所述框架中插入增强型多尺度残差块，具体为：在所述增强型多尺度残差块中，包括增强型多尺度残差块的输入
M
a
与输出
M
b
，和一个具有不同卷积核大小
k
的双分支网络；所述双分支网络获取不同尺度的全局信息，在一级卷积块中引入
1x1
的卷积块并在
1x1
的卷积块中加入广义分裂的标准化算子，获取所述双分支网络的输出数据，并将所述双分支网络的输出数据连接；将所述双分支网络的输出数据分别处理后传至下一级卷积块，再次将双分支网络的输出数据连接起来并再次处理，获得最终的输出
M
b
，同时，添加快捷连接将所述输入
M
a
加到最终的输出
M
b
中
。4.
如权利要求3所述的基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征在于：所述增强型多个残差块通过附加的快捷连接串联，所述增强型多尺度残差块在编码器和生成器中不对称使用，所述编码器采用一级增强型多尺度残差块，所述生成器采用两级增强型多尺度残差块
。5.
如权利要求1所述的基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征在于：针对步骤二中，简化注意力模块，具体为：在简化注意力模块中，包括获取注意力模块的通道数
N、
输入
N
a
与输出
N
b
，和多个残差块；所述注意力模块获取输入
N
a
，去除部分残差块，基于网络框架训练简化注意力模块，获得最终的输出
N
b
，同时，添加快捷连接将所述输入
N
a
加到最终的输出
N
b
中
。6.
如权利要求5所述的基于增强型多尺度残差生成对抗网络的图像压缩方法，其特征
在于：针对步骤一中的判别器，用于预测真实图像比假图像相对更真实的概率，所述判别器损失定义为：，所述生成器的对抗性损失公式呈对称形式：，其中，表示对一批数据中所有真数据取平均值的操作，表示对一批数据中所有假数据取平均值的操作，的输出是一个矩阵不是单个值，矩阵...

【专利技术属性】
技术研发人员：胡峰，马婷，刘友鑫，刘博洋，
申请(专利权)人：浙江势通机器人科技有限公司，
类型：发明
国别省市：