【技术实现步骤摘要】
本申请涉及图像压缩，尤其涉及一种端到端图像压缩方法、装置、电子设备、介质及程序产品。
技术介绍
1、大数据时代下，现有的移动网络中超过85％的数据是图像/视频，虽然5g网络提高了网络带宽，但是人们对更大分辨率、更高清晰度的视频/图像的需求仍然会造成传输拥塞，或者存储成本增高。高效的视频/图像压缩方法同时兼顾高压缩比和低计算复杂度两个方面，对解决上述问题至关重要。
2、现有的视频/图像压缩方法大致可以分为基于传统的图像压缩和基于学习的图像压缩。传统的图像压缩采用预测、残差、熵编码的混合框架去除像素之间的空间冗余。基于学习的图像压缩利用神经网络的非线性能力估计出图像的近似分布，进而采用传统的熵编码方法压缩图像数据，包括基于卷积神经网络(convolutionalneuralnetwork，cnn)的端到端图像压缩方法和基于tansformer的端到端图像压缩方法。
3、传统图像压缩方法对图像进行高斯分布的先验假设，通过预测、残差、变换、量化、熵编码、后处理等手段去除像素间的冗余。当图像的真实分布与高斯分布相差很大，传统方法的编码效率将会降低。此外，传统图像编码需要人工设计各个环节的参数，部分参数需要大量尝试得到一个经验值。
4、cnn网络通过卷积进行特征提取与变换，卷积核感受野较小，无法捕获全局的相关性，只能捕获局部特征。从而造成隐空间表示的冗余度仍然较大，无法进一步提升压缩效率。tansformer网络具有全局特征提取的能力，相较于cnn网络，能进一步降低隐空间表示的冗余，提升压缩效率。但是tr
技术实现思路
1、本申请提供一种端到端图像压缩方法、装置、电子设备、介质及程序产品，用以解决现有技术中图像压缩方法编码效率低，复杂度高的缺陷。
2、第一方面，本申请提供一种端到端图像压缩方法，包括：
3、获取待压缩图像；
4、输入所述待压缩图像至图像压缩模型，得到所述图像压缩模型输出的压缩图像；
5、其中，所述图像压缩模型由主编码网络、主解码网络、辅编码网络、辅解码网络以及上下文网络构成vae框架，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络中的至少一个基于聚类块构成。
6、在一个实施例中，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络均包括至少一残差块和至少一所述聚类块，所述残差块和所述聚类块交替设置，所述残差块用于提取特征以及空间分辨率的下采样或上采样，所述聚类块用于对特征进行动态变换和聚类。
7、在一个实施例中，所述聚类块包括至少一聚类层。
8、在一个实施例中，所述聚类层包括特征聚类层、自注意力层、特征聚合层和特征发散层，所述特征聚类层用于对接收到的特征进行聚类，所述自注意力层用于确定聚类后的特征的全局相关性，所述特征聚合层用于根据所述全局相关性对聚类后的特征进行聚合，所述特征发散层用于对聚合后的特征进行特征发散，所述聚类层还用于对发散后的特征进行线性变换并与所述特征聚类层接收到的特征进行相加，得到聚类变换特征。
9、在一个实施例中，所述残差块的输出端还设有归一化层，所述归一化层用于对所述残差块输出的特征进行归一化处理，将归一化处理后的特征输入至所述聚类块。
10、在一个实施例中，所述主编码网络的输出端和所述辅编码网络的输出端分别连接有量化模块，所述量化模块通过均匀分布噪声进行模拟量化。
11、第二方面，本申请还提供了一种端到端图像压缩装置，包括：
12、获取模块，用于获取待压缩图像；
13、压缩模块，用于输入所述待压缩图像至图像压缩模型，得到所述图像压缩模型输出的压缩图像；
14、其中，所述图像压缩模型由主编码网络、主解码网络、辅编码网络、辅解码网络以及上下文网络构成vae框架，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络中的至少一个基于聚类块构成。
15、第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述端到端图像压缩方法。
16、第四方面，本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述端到端图像压缩方法。
17、第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述端到端图像压缩方法。
18、本申请提供的端到端图像压缩方法、装置、电子设备、介质及程序产品，图像压缩模型由主编码网络、主解码网络、辅编码网络、辅解码网络以及上下文网络构成vae框架，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络中的至少一个由低复杂度的聚类块替换复杂度高的深度网络，降低了图像压缩模型的复杂度，通过设置上下文网络实现注意力机制，能够更好地捕获特征的全局相关性，从而有效识别图像冗余，提升编码效率。
本文档来自技高网...【技术保护点】
1.一种端到端图像压缩方法，其特征在于，包括：
2.根据权利要求1所述的端到端图像压缩方法，其特征在于，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络均包括至少一残差块和至少一所述聚类块，所述残差块和所述聚类块交替设置，所述残差块用于提取特征以及空间分辨率的下采样或上采样，所述聚类块用于对特征进行动态变换和聚类。
3.根据权利要求1或2所述的端到端图像压缩方法，其特征在于，所述聚类块包括至少一聚类层。
4.根据权利要求3所述的端到端图像压缩方法，其特征在于，所述聚类层包括特征聚类层、自注意力层、特征聚合层和特征发散层，所述特征聚类层用于对接收到的特征进行聚类，所述自注意力层用于确定聚类后的特征的全局相关性，所述特征聚合层用于根据所述全局相关性对聚类后的特征进行聚合，所述特征发散层用于对聚合后的特征进行特征发散，所述聚类层还用于对发散后的特征进行线性变换并与所述特征聚类层接收到的特征进行相加，得到聚类变换特征。
5.根据权利要求2所述的端到端图像压缩方法，其特征在于，所述残差块的输出端还设有归一化层，所述归一化层用于对
6.根据权利要求1所述的端到端图像压缩方法，其特征在于，所述主编码网络的输出端和所述辅编码网络的输出端分别连接有量化模块，所述量化模块通过均匀分布噪声进行模拟量化。
7.一种端到端图像压缩装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述端到端图像压缩方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述端到端图像压缩方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述端到端图像压缩方法。
...【技术特征摘要】
1.一种端到端图像压缩方法，其特征在于，包括：
2.根据权利要求1所述的端到端图像压缩方法，其特征在于，所述主编码网络、所述主解码网络、所述辅编码网络和所述辅解码网络均包括至少一残差块和至少一所述聚类块，所述残差块和所述聚类块交替设置，所述残差块用于提取特征以及空间分辨率的下采样或上采样，所述聚类块用于对特征进行动态变换和聚类。
3.根据权利要求1或2所述的端到端图像压缩方法，其特征在于，所述聚类块包括至少一聚类层。
4.根据权利要求3所述的端到端图像压缩方法，其特征在于，所述聚类层包括特征聚类层、自注意力层、特征聚合层和特征发散层，所述特征聚类层用于对接收到的特征进行聚类，所述自注意力层用于确定聚类后的特征的全局相关性，所述特征聚合层用于根据所述全局相关性对聚类后的特征进行聚合，所述特征发散层用于对聚合后的特征进行特征发散，所述聚类层还用于对发散后的特征进行线性变换并与所述特征聚类层接收到的特征进行相加，得到聚类变换特征。
5.根据权利要求...
【专利技术属性】
技术研发人员：黄敏峰，程宝平，邓米雪，雷鹏，
申请(专利权)人：中移杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。