基于网络实现注意力机制的图像压缩方法技术

本发明专利技术提供了一种基于网络实现注意力机制的图像压缩方法，能够提高了图像压缩比例，提升了图像压缩后视觉效果，包括：利用yolo3网络对原始图像进行检测，得到目标矩阵；将原始图像进行压缩并利用卷积神经网络对图像处理得到重构图像，处理包括原始图像进行卷积得到第一特征数据，对第一特征数据量化得离散值向量，离散值向量数据熵编码处理得到码流数据，码流数据解压后反量化的第二特征数据，第二特征数据进行反卷积得到重构图像；原始图像的三通道数值分别作为矩阵M做点乘得到新图像矩阵；新图像矩阵与重构图像计算MSE，并作为损失函数对网络参数进行优化。

Image compression method based on attention mechanism of network

【技术实现步骤摘要】
基于网络实现注意力机制的图像压缩方法
本专利技术涉及一种图像压缩方法，具体涉及一种基于网络实现注意力机制的图像压缩方法，属于深度学习

技术介绍
图像压缩是图像处理分析的一个热门领域。图像压缩是通过图像编码改变图像内容格式的过程，目标是减少图像所占用的储存空间。随着数字化信息时代的到来和宽带移动通信技术的快速普及，移动互联网技术的应用深入到人们生活的各个方面。数字化信息的快速、有效传输将给人们的信息交流带来巨大便利，4G、5G移动通信技术的推广普及使得高清图像的实时传输在个人移动通信中的应用也越来越普遍。尽管如今网络传输速率大大提高，对于公共网络来说，实现高清图像的实时传输，仍是十分困难的事情，因此需要考虑如何在不失真的情况下更好的对图像进行压缩，以减小图像存储空间，加快图片传输速率。传统的图像压缩操作以线型转换为基础，通过线性转换方式将数据向量转换为合适的连续值表示形式，然后对这些连续值进行量化并通过熵编码方式进行编码。
技术实现思路
本专利技术提供了一种基于网络实现注意力机制的图像压缩方法，能够提高了图像压缩比例，提升了图像压缩后视觉效果。本专利技术为实现上述目的，通过以下技术方案实现：一种基于网络实现注意力机制的图像压缩方法，包括：（1）利用yolo3网络对原始图像进行检测，得到目标矩阵；（2）将原始图像进行压缩并利用卷积神经网络对图像处理得到重构图像，处理包括原始图像进行卷积得到第一特征数据，对第一特征数据量化得离散值向量，离散值向量数据熵编码处理得到码流数据，码流数据解压后反量化的第二特征数据，第二特征数据进行反卷积得到重构图像；（3）原始图像的三通道数值分别作为矩阵M做点乘得到新图像矩阵；（4）新图像矩阵与重构图像计算MSE，并作为损失函数对网络参数进行优化。所述基于网络实现注意力机制的图像压缩方法优选方案，目标矩阵获得具体过程如下：初始化一w×h矩阵M，其中w为图像宽度，h为图像高度，对检测到目标区域，设置矩阵M的值为1，对其他区域，设置矩阵M的值为0.1。所述基于网络实现注意力机制的图像压缩方法优选方案，卷积处理中是将图像数据连接四个卷积层，卷积核大小为3×3，通道数为128，同时进行下采样，步长为2。所述基于网络实现注意力机制的图像压缩方法优选方案，对卷积后数据连接四个反卷积重制图片，卷积核大小为3×3，前四层反卷积层通道数为128，第五层通道数为3，同时进行上采样，步长为2。所述基于网络实现注意力机制的图像压缩方法优选方案，前三层卷积层及反卷积层均以ReLU作为激活函数，第四层卷积层及反卷积层不设置激活函数。所述基于网络实现注意力机制的图像压缩方法优选方案，图像的处理包括压缩和解压，压缩：1）准备图像文件；2）利用python中tensorflow_compression包下的SignalConv2D()函数实现四个卷积层，设置strides_down参数为步长；3）利用python中tensorflow_compression包下的EntropyBottleneck()函数进行量化与熵编码；4）利用python中tensorflow_compression包下的PackedTensors类中的pack()函数对熵编码后结果进行保存；解压：1）利用python中tensorflow_compression包下的PackedTensors类中的unpack()函数读取保存结果；2）利用python中tensorflow_compression包下的SignalConv2D()函数实现四个反卷积层，设置strides_up参数为步长。本专利技术具体原理如下：选择训练图像数据利用yolo3网络进行训练得到压缩模型与解压模型，训练图像数据的选择要具有针对性，尽量是针对某一领域的图像数据，这样能产生更好的压缩效果，如希望压缩监控图像数据，那训练数据应当是尽量多的监控图片数据，通过压缩模型压缩带压缩图像得到压缩文件用于储存，在观看或使用图像时，通过解压模型对压缩文件进行解压得到重构图片。本专利技术的优点在于：本专利技术以非线性转换为基础，通过yolo3网络对图像进行目标检测，并结合卷积神经网络提取图像特征，对提取特征进行量化并通过熵编码进行压缩。本方法使用ReLU作为激活函数实现非线性转换，并通过目标检测方法提取ROI（RegionOfInterest）实现注意力机制，本方法结合注意力机制，比传统方法更符合生物视觉系统，提高了图像压缩比例，提升了图像压缩后视觉效果。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。图1为本专利技术实施例的流程图。图2为本专利技术实施例的原始图像数据。图3为150倍压缩下从左往右依次为jpg位图、jpeg2000位图及本专利技术方法得到的图像。图4为45倍压缩下从左往右依次为jpg位图、jpeg2000位图及本专利技术方法得到的图像。图5为15倍压缩下从左往右依次为jpg位图、jpeg2000位图及本专利技术方法得到的图像。图6为本专利技术实施例的一个具体目标区域图。图7为从左往右依次为jpeg2000位图及本专利技术方法得到的目标区域图。图8为本专利技术的原理图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于网络实现注意力机制的图像压缩方法，包括：（1）利用yolo3网络对原始图像进行检测，得到目标矩阵，目标矩阵获得具体过程如下：初始化一w×h矩阵M，其中w为图像宽度，h为图像高度，对检测到目标区域，设置矩阵M的值为1，对其他区域，设置矩阵M的值为0.1；如图像分辨率为1920×1080，则w=1920，h=1080；参考图6，比如在该512x512的图像中检测到了感兴趣区域（人脸），则生成一个512x512矩阵M，该矩阵在其他位置值为0.1在该位置值为1。如：（2）将原始图像进行压缩并利用卷积神经网络对图像处理得到重构图像，处理包括原始图像进行卷积得到第一特征数据，对第一特征数据量化得离散值向量，离散值向量数据熵编码处理得到码流数据，码流数据解压后反量化的第二特征数据，第二特征数据进行反卷积得到重构图像；如图7，可以看到本方法在感兴趣区域（脸部）压缩效果更好，更加清晰，平滑，符合人类视觉感知；（3）原始图像的三通道数值分别作为矩阵M做点乘得到新图像矩阵；矩阵点乘即为维数完全相同的矩阵对应元素逐个相乘，满足交换律。如：（4）新图像矩阵与重构图像计算MSE，并作为本文档来自技高网...

【技术保护点】
1.一种基于网络实现注意力机制的图像压缩方法，其特征在于，包括：/n（1）利用yolo3网络对原始图像进行检测，得到目标矩阵；/n（2）将原始图像进行压缩并利用卷积神经网络对图像处理得到重构图像，处理包括原始图像进行卷积得到第一特征数据，对第一特征数据量化得离散值向量，离散值向量数据熵编码处理得到码流数据，码流数据解压后反量化的第二特征数据，第二特征数据进行反卷积得到重构图像；/n（3）原始图像的三通道数值分别作为矩阵M做点乘得到新图像矩阵；/n（4）新图像矩阵与重构图像计算MSE，并作为损失函数对网络参数进行优化。/n

【技术特征摘要】
1.一种基于网络实现注意力机制的图像压缩方法，其特征在于，包括：
（1）利用yolo3网络对原始图像进行检测，得到目标矩阵；
（2）将原始图像进行压缩并利用卷积神经网络对图像处理得到重构图像，处理包括原始图像进行卷积得到第一特征数据，对第一特征数据量化得离散值向量，离散值向量数据熵编码处理得到码流数据，码流数据解压后反量化的第二特征数据，第二特征数据进行反卷积得到重构图像；
（3）原始图像的三通道数值分别作为矩阵M做点乘得到新图像矩阵；
（4）新图像矩阵与重构图像计算MSE，并作为损失函数对网络参数进行优化。


2.根据权利要求1所述基于网络实现注意力机制的图像压缩方法，其特征在于：目标矩阵获得具体过程如下：初始化一w×h矩阵M，其中w为图像宽度，h为图像高度，对检测到目标区域，设置矩阵M的值为1，对其他区域，设置矩阵M的值为0.1。


3.根据权利要求1所述基于网络实现注意力机制的图像压缩方法，其特征在于：卷积处理中是将图像数据连接四个卷积层，卷积核大小为3×3，通道数为128，同时进行下采样，步长为2。


4.根据权利要求3所述基于网络实现注意力机制的图像压缩方法，其特征在于：对卷积后数据连接四个反卷积重制图片，卷积核大小为3×3，前四层反卷积层通道数为128，第五...

【专利技术属性】
技术研发人员：汝佩哲，李锐，金长新，
申请(专利权)人：山东浪潮人工智能研究院有限公司，
类型：发明
国别省市：山东;37