一种基于空间和光谱内容重要性的高光谱图像压缩方法技术

本发明专利技术涉及一种基于空间和光谱内容重要性的高光谱图像压缩方法。首先利用训练数据集对压缩网络模型进行训练，得到模型训练参数，接着将输入的图像张量分为两支，一支图像张量经过编码器网络压缩处理后，得到原图像的1/16规模的隐藏表征张量，并将其输入到量化器网络经过预量化和量化处理得到二值化的码流，另一支输入到多深度卷积网络中生成重要性图，然后将重要性图与二值化的码流加权得到基于内容的码流，再将基于内容的码流输入到解码器得到重建图像。本发明专利技术同时根据高光谱图像的空间特性和光谱特性生成重要性图，在重要性图的指导下，编码端可以根据图像的空间和光谱内容复杂度动态分配码率，既提高了压缩率又保证了图像压缩的质量。压缩的质量。压缩的质量。

【技术实现步骤摘要】
一种基于空间和光谱内容重要性的高光谱图像压缩方法


[0001]本专利技术属于高光谱图像压缩
，特别是涉及一种基于空间和光谱内容重要性的高光谱图像压缩方法。

技术介绍

[0002]与自然图像相比，高光谱图像不仅有空间相关性的冗余，还存在谱段间与谱段间相似性的冗余。高光谱图像丰富的光谱信息能充分反映样品内部的物理结构、化学成分的差异，能够为地质勘探、精细农业、环境检测等提供重要的数据支持。但是随着遥感器分辨率的快速提高，高光谱图像的数据规模以几何量级递增，其波段间的相关性越来越强，信息冗余越来越大，这不仅会增加计算负担，还可能加剧信道带宽与数据实时传输需求之间的矛盾。因此，在对高光谱图像进行有效压缩的同时，极大程度的保留高光谱图像的光谱特征信息对高光谱图像传输、存储和处理提出了更高地要求。
[0003]近年来，深度卷积网络在多种视觉任务中取得了巨大成功，一些基于深度卷积网络的自然图像压缩方法已经取得与传统方法相当甚至更优的性能。2016年，Google的研究人员使用循环神经网络(一个混合GRU和ResNet的变体)在图像压缩上取得了和JPEG相当的表现。2017年，Google的研究人员对循环神经网络模型进行了改进，引入了空间自适应码率(Spatially Adaptive Bit Rates，SABR)，根据目标重建质量动态地调整局部的码率，将其表现提升至超越WebP的水平。同年，Li等人提出了基于图像内容加权的图像压缩技术，使用一个三层卷积网络学习图像的重要性图(importance map)，然后通过量化生成重要性掩码(importance mask)，并应用于之后的编码过程，表现与JPEG2000相当。上述方法都是针对自然图像的压缩方法，而不是针对高光谱图像的压缩。对于高光谱图像，在根据图像内容重要性动态分配码率时，不仅要考虑空间内容重要性，也要考虑光谱重要性。
[0004]综上所述，急需针对高光谱图像特有的光谱特性设计一套压缩方案，不但能有效去除高光谱图像的谱间相关性，而且能够有效提高光谱保真度，实现更高的高光谱图像压缩算法性能。

技术实现思路

[0005]本专利技术针对现有技术的不足，提供一种基于空间和光谱内容重要性的高光谱图像压缩方法。首先利用训练数据集对压缩网络模型进行训练，得到模型训练参数，接着将输入的图像张量分为两支，一支图像张量经过编码器网络压缩处理后，得到原图像的1/16规模的隐藏表征张量，并将其输入到量化器网络经过预量化和量化处理得到二值化的码流，另一支输入到多深度卷积网络中生成重要性图，然后将重要性图与量化后的二值化码流加权得到基于内容的码流，再将基于内容的码流输入到解码器得到重建图像。
[0006]为了达到上述目的，本专利技术提供的技术方案是一种基于空间和光谱内容重要性的高光谱图像压缩方法，包括以下步骤：
[0007]步骤1，将训练集中的多光谱图像随机裁剪成尺寸为31
×
256
×
256的图像块；
[0008]步骤2，把步骤1裁剪好的图像块转换为以batchsize为16的16
×
31
×
256
×
256规格的张量，输入压缩网络模型进行训练，压缩网络模型包括编码器、量化器、多深度卷积网络和解码器，全部数据迭代300次，得到训练后的压缩网络；
[0009]步骤3，将待压缩的高光谱图像输入压缩网络，将读取的图像张量分为两支；
[0010]步骤4，一支图像张量经过编码器网络压缩处理，得到原图像的1/16规模的隐藏表征张量；
[0011]步骤5，将步骤4得到的隐藏表征张量输入到量化器网络，经过预量化和量化处理得到二值化的码流；
[0012]步骤6，另一支图像张量输入到多深度卷积网络，生成重要性图；
[0013]步骤7，将步骤6生成的重要性图与步骤5量化后的二值化码流加权，得到基于内容的码流，权重系数取多次实验的经验值；
[0014]步骤8，将步骤7得到的基于内容的码流输入到解码器，得到重建图像。
[0015]而且，所述步骤2中对压缩网络进行训练使用的损失函数计算方式如下：
[0016][0017]式中，c是输入图像的编码，是输入图像x
i
与编码c的码率损失，即图像码流和编码码流的差值；是输入图像x
i
与输出图像的失真损失，由均方误差MSE计算可得；λ是平衡码率损失和失真损失的超参数，训练时由用户自己设定。
[0018]而且，所述步骤4中编码器是由四个卷积层和三个GDN层交叉堆叠而成，编码器在下采样过程中将原始图像张量的空间信息逐步转移到谱间维度，图像张量(B,C,H,W)经过编码端之后空间维度变成(H/4,W/4)，通道数变为M，M为最后一层卷积核的维度。
[0019]而且，所述步骤5中量化器网络包括预量化和量化两个处理模块，其中预量化模块主要基于离散神经网络学习，将编码器输出的B
×
C
×
H
×
W规模的隐藏表征张量映射到隐藏的嵌入空间e∈R^(k
×
d)(k＝B,d＝C
×
H
×
W)中。量化模块是将预量化之后的特征图(feature maps)进行{
‑
1,1}二值化处理得到码流。
[0020]二值化计算公式如下：
[0021][0022]式中，x为特征图上点的值。
[0023]而且，所述步骤6中是通过将图像张量输入到多深度的卷积网络中，分别生成三个子重要性图，然后按比例加权求和得到最终的重要性图，权重系数取多次实验的经验值；多深度卷积网络是由三个单深度重要性图网络构成，每个单深度重要性图网络包括两个卷积层；单深度重要性图网络用来识别图像的重要区域，其引入SE
‑
BLOCK建模特征图通道之间的相互依赖，把重要的通道特征进行强化，提高了重要性图的特征指向性，然后生成重要映射来指导比特的分配；为了补偿在低比特率情况下对非重要信道的过度损耗，采用金字塔分解结构重构非重要通道信息形成多深度卷积网络，并在其每一个单深度重要性图网络第二个卷积层中采用动态接受域卷积DRFc代替常规卷积，通过先找出卷积点的一阶和二阶邻域，按照其与卷积点的相关程度对邻域内的所有点排序，然后选择排名靠前的八个点作为卷积点的动态接受域，大大提高CNN提取边缘信息的能力。
[0024]而且，所述步骤8中解码器与编码器对称，由四个卷积层和三个IGDN层网络交叉组成，解码器在上采样过程中将码流的谱间信息逐步转移到空间维度，实现图像的重建。
[0025]与现有技术相比，本专利技术具有如下优点：(1)同时根据高光谱图像的空间特性和光谱特性生成重要性图，在重要性图的指导下，编码端可以根据图像的空间和光谱内容复杂度动态分配码率，既提高了压缩率又保证了图像压缩的质量。(2)在有效去除了高光谱图像光谱冗余的条件下，很好地保留了高光谱图像的光谱特征，更有利于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间和光谱内容重要性的高光谱图像压缩方法，其特征在于，包括如下步骤：步骤1，将训练集中的多光谱图像随机裁剪成尺寸为a
×
b
×
c的图像块；步骤2，把步骤1裁剪好的图像块转换为以batchsize为λ的λ
×
a
×
b
×
c规格的张量，输入压缩网络模型进行训练，压缩网络模型包括编码器、量化器、多深度卷积网络和解码器，全部数据迭代n次，得到训练后的压缩网络；步骤3，将待压缩的高光谱图像输入压缩网络，将读取的图像张量分为两支；步骤4，一支图像张量经过编码器网络压缩处理，得到原图像的1/16规模的隐藏表征张量；步骤5，将步骤4得到的隐藏表征张量输入到量化器网络，经过预量化和量化处理得到二值化的码流；步骤6，另一支图像张量输入到多深度卷积网络，生成重要性图；步骤7，将步骤6生成的重要性图与步骤5量化后的二值化码流加权，得到基于内容的码流；步骤8，将步骤7得到的基于内容的码流输入到解码器，得到重建图像。2.如权利要求1所述的一种基于空间和光谱内容重要性的高光谱图像压缩方法，其特征在于：所述步骤2中对压缩网络进行训练使用的损失函数计算方式如下：式中，c是输入图像的编码，是输入图像x
i
与编码c的码率损失，即图像码流和编码码流的差值；是输入图像x
i
与输出图像的失真损失，由均方误差MSE计算可得；λ是平衡码率损失和失真损失的超参数。3.如权利要求1所述的一种基于空间和光谱内容重要性的高光谱图像压缩方法，其特征在于：所述步骤4中编码器由四个卷积层和三个GDN层交叉堆叠而成，编码器在下采样过程中将原始图像张量的空间信息逐步转移到谱间维度，图像张量(B,C,H,W)，经过编码器之后空间维度变成(H/4,W/4)，通道数变为M，B、C、H和W分别表示batchsize
×
帧数、特征图的通道、高度和宽度，M为最后一层卷积核的维...

【专利技术属性】
技术研发人员：种衍文，顾晓林，潘少明，
申请(专利权)人：武汉大学，
类型：发明
国别省市：