【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种基于重要性尺度和高斯混合模型的深度学习图像压缩方法。
技术介绍
1、图像压缩指的是利用一系列编码方法对原始待处理图像数据进行压缩编码，在保证图像视觉效果的同时，得到尽可能小的压缩码流，便于后续的存储和传输。传统的图像压缩方法例如：联合图像专家组(joint photographic experts group，jpeg)，高效视频编码(high efficiencyvideo coding，hevc)，多功能视频编码(versatilevideo coding，vvc)等，这些方法都是通过帧内/帧间预测、变换、量化和熵编码等来减少空间冗余，提高编码效率，其各个模块都是通过人工设计的，但目前传统的图像压缩方法在提升压缩性能方面达到了一个瓶颈期。近年来，随着深度学习的不断发展，深度神经网络已被广泛应用于图像处理领域，各种深度学习图像压缩方法被不断提出。基于深度学习的图像压缩能够通过训练学习的方式处理大量图像数据，提取图像的特征信息，并且在处理高维数据方面具有强大的能力。另外，相较于传统图像压缩方法，深度学习图像压缩方法能够对压缩过程中的变换、量化、熵编码等各个模块进行联合优化，将分块的问题从整体上考虑，能够得到更好的压缩性能。然而，目前基于深度学习的图像压缩方法过于依赖模型本身的数据泛化能力，而对图像内容的自适应性的考虑有所欠缺。并且现有方法通常使用单一高斯模型预测概率分布，因其形状固定的局限性，导致对概率分布模型的描述不够精准，图像变换后的潜在信息或神经语法信息仍然存在冗余，影响数据压缩效果。在现有
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于重要性尺度和高斯混合模型的深度学习图像压缩方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于重要性尺度和高斯混合模型的深度学习图像压缩方法，包括以下步骤：
4、s1、将待处理图像通过主编码器进行分析变换，获得潜在表示；
5、s2、将所述潜在表示通过预设的重要性尺度网络，针对不同区域内容进行自适应内容的比特分配以获得重要性增强的潜在表示；
6、s3、将所述重要性增强的潜在表示在通道维度上划分为内容流的潜在表示和模型流的潜在表示；
7、s4、通过超先验模型、上下文模型以及预设的高斯混合模型处理，得到所述内容流的潜在表示的概率分布以获取重构的潜在表示；
8、s5、利用神经语法生成器获取所述模型流的潜在表示的神经语法；通过所述预设的高斯混合模型得到所述神经语法的概率分布，用于指导熵编码和解码以获取神经语法信息；将所述神经语法信息馈送到权重生成器以获取主解码器最后一个转置卷积层的核参数；
9、s6、将所述重构的潜在表示和所述解码器最后一个转置卷积层的核参数通过所述主解码器进行合成变换以获取重建图像。
10、进一步，所述s1中：所述主编码器包含四个二维零填充(zero padding 2d layer，zeropad2d)层、四个卷积层及三个广义除法归一化(generalizeddivisivenormalization，gdn)层。
11、进一步，所述s2中：所述重要性尺度网络包括一个卷积层和三个残差块；采用自适应比特分配策略，针对所述区域中潜在值较大的区域，分配更高比特率以提取更多的特征信息，得到重要性增强的潜在表示。
12、进一步，所述s4中：所述超先验模型包括超先验编码器和超先验解码器；所述超先验编码器包括三个卷积层组；所述超先验解码器包括三个转置卷积层；该卷积层之间以及该转置卷积层之间具有修正线性单元(rectified linear unit，relu)函数；
13、进一步，所述s4中：所述上下文模型包含三个卷积层，该卷积层之间具有带泄露的修正线性单元(leaky rectified linear unit，leakyrelu)函数；通过所述上下文模型获取所述潜在表示的上下文信息。
14、进一步，所述s4中：所述高斯混合模型由多个带不同均值、方差及权重的高斯分布构成，所述高斯混合模型表示为：
15、
16、其中，w代表每个高斯分布的权重值，μ和σ代表高斯分布的均值和方差，k代表高斯模型的总个数，代表重构潜在表示，代表辅助信息的量化信息。
17、进一步，所述s5中：所述神经语法生成器包含一个多尺度网络、一个全局平均池化层以及一个全连接层；所述模型流的潜在表示经过所述多尺度网络提取特征，全局平均池化后连接成神经语法特征向量以供后续权重生成器使用。
18、进一步，所述s5中：所述权重生成器包含三个全连接层，该全连接层之间具有带泄露的修正线性单元(leaky rectified linear unit，leakyrelu)函数。
19、进一步，所述s6中：所述主解码器包含五个转置卷积层，该卷积层之间具有逆gdn层(inverse generalized divisive normalization layer)；对整个深度学习图像压缩模型训练完成后，除最后一个转置卷积层之外的所有转置卷积层的参数均为固定值；该最后一个转置卷积层的核参数在解码时由所述权重生成器实时生成。
20、进一步，所述高斯模型的总个数k＝4。
21、本专利技术的有益效果在于：实现自适应内容的比特分配，为信息密集的区域分配较高的比特率，确保关键特征信息的有效提取，从而获取重要性增强的潜在表示；相较于单一高斯模型，高斯混合模型更加灵活；对潜在表示进行内容自适应优化，并通过使用高斯混合分布预测得到更为合理和灵活的概率分布模型，减少潜在表示或神经语法中的冗余信息，在获得视觉质量效果更好的重建图像的同时，也提升深度学习图像压缩模型的率失真性能。
22、本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
本文档来自技高网...【技术保护点】
1.一种基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S1中：所述主编码器包含四个二维零填充(Zero Padding 2D Layer，ZeroPad2d)层、四个卷积层及三个广义除法归一化(GeneralizedDivisiveNormalization，GDN)层。
3.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S2中：所述重要性尺度网络包括一个卷积层和三个残差块；采用自适应比特分配策略，针对所述区域中潜在值较大的区域，分配更高比特率以提取更多的特征信息，得到重要性增强的潜在表示。
4.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S4中：所述超先验模型包括超先验编码器和超先验解码器；所述超先验编码器包括三个卷积层组；所述超先验解码器包括三个转置卷积层；该卷积层之间以及该转置卷积层之间具有修正线性单元(Rectified Lin
5.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S4中：所述上下文模型包含三个卷积层，该卷积层之间具有带泄露的修正线性单元(Leaky Rectified Linear Unit，LeakyReLU)函数；通过所述上下文模型获取所述潜在表示的上下文信息。
6.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S4中：所述高斯混合模型由多个带不同均值、方差及权重的高斯分布构成，所述高斯混合模型表示为：
7.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S5中：所述神经语法生成器包含一个多尺度网络、一个全局平均池化层以及一个全连接层；所述模型流的潜在表示经过所述多尺度网络提取特征，全局平均池化后连接成神经语法特征向量以供后续权重生成器使用。
8.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S5中：所述权重生成器包含三个全连接层，该全连接层之间具有带泄露的修正线性单元(Leaky Rectified Linear Unit，LeakyReLU)函数。
9.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述S6中：所述主解码器包含五个转置卷积层，该卷积层之间具有逆GDN层(Inverse Generalized Divisive Normalization Layer)；对整个深度学习图像压缩模型训练完成后，除最后一个转置卷积层之外的所有转置卷积层的参数均为固定值；该最后一个转置卷积层的核参数在解码时由所述权重生成器实时生成。
10.根据权利要求6所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于：所述高斯模型的总个数K＝4。
...【技术特征摘要】
1.一种基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述s1中：所述主编码器包含四个二维零填充(zero padding 2d layer，zeropad2d)层、四个卷积层及三个广义除法归一化(generalizeddivisivenormalization，gdn)层。
3.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述s2中：所述重要性尺度网络包括一个卷积层和三个残差块；采用自适应比特分配策略，针对所述区域中潜在值较大的区域，分配更高比特率以提取更多的特征信息，得到重要性增强的潜在表示。
4.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述s4中：所述超先验模型包括超先验编码器和超先验解码器；所述超先验编码器包括三个卷积层组；所述超先验解码器包括三个转置卷积层；该卷积层之间以及该转置卷积层之间具有修正线性单元(rectified linear unit，relu)函数；
5.根据权利要求1所述的基于重要性尺度和高斯混合模型的深度学习图像压缩方法，其特征在于，所述s4中：所述上下文模型包含三个卷积层，该卷积层之间具有带泄露的修正线性单元(leaky rectified linear unit，leakyrelu)函数；通过所述上下文模型获取所述潜在表示的上下文...
【专利技术属性】
技术研发人员：祝志远，丁世航，魏传锋，邹虹，王汝言，吴大鹏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。