基于小波多通道深度网络的图像压缩感知重建方法技术

本发明专利技术公开了基于小波多通道深度网络的图像压缩感知重建方法，其特征在于，包括如下步骤：1）训练数据预处理对局部图像块进行二阶小波变换；2）线性映射；3）小波变换；4）多通道图像重建；5）特征融合；6）计算损失函数Loss；7）判断误差是否达到设定值。这种方法能更好地表示不同的图像内容、并且恢复更多的细节特征。并且恢复更多的细节特征。并且恢复更多的细节特征。

【技术实现步骤摘要】
基于小波多通道深度网络的图像压缩感知重建方法


[0001]本专利技术涉及智能信息处理
，具体涉及一种基于小波多通道深度网络的图像压缩感知重建方法。

技术介绍

[0002]压缩感知CS(Compressed Sensing，简称CS)是一种新兴的信息获取和传输处理理论，CS指出可以充分利用信号中的稀疏性先验信息，在远低于奈奎斯特采样频率的情况下，从观测值中精确地重构原始信号，且在压缩感知中信号采样和压缩编码一步完成，这对于信号的采集和传输有着巨大的便利和优势。其中信号重构算法是压缩感知理论的核心，它是指由测量向量重构稀疏信号的过程。
[0003]传统的压缩感知图像重建方法主要是基于优化迭代进行重建，不可避免地会带来较高的计算成本，且在测量率很低时的复原效果不理想。近年来随着深度学习的兴起，基于深度学习的压缩感知算法被提出，它可以摆脱传统复杂的建模和优化过程。Mousavi等人首次将深度学习应用与压缩感知重构中，采用去噪堆叠自编码对信号进行还原；ReconNet网络是卷积神经网络在压缩感知信号重构问题的首次应用、减少了网络的复杂度；DR2‑
Net是ReconNet网络与残差网络结构的结合、进一步提高了图像重建效果；在基于多尺度的深度网络图像重建中， NL
‑
MRN在每个重建模块中采用非局部操作，用于增强图像中点与点之间的约束性；LAPRAN网络在重构端引入拉普拉斯金字塔概念，在每个金字塔层将测量值与上一级输出的低分辨率图像进行信息融合，以实现灵活的高分辨率重构。
[0004]虽然上述基于深度学习的压缩感知图像重建方法在重建速度和重建效果上均有提升，这些方法试图通过单一的网络通道生成全局结构和局部纹理信息，然而只有一个网络通道很难表示不同的图像内容，生成的图像往往可以保留良好的全局信息，但有些图像细节重建的并不是很好。

技术实现思路

[0005]本专利技术的目的是针对现有图像重建技术的不足，通过有效利用图像中的低频和高频信息，提供一种基于小波多通道深度网络的图像压缩感知重建方法。这种方法能更好地表示不同的图像内容、并且恢复更多的细节特征。
[0006]实现本专利技术目的的技术方案是：
[0007]一种基于小波变换的多通道深度压缩感知图像重建方法，包括如下步骤：
[0008]1)训练数据预处理：将训练集中的图像进行随机裁剪分为大小相等的不重叠的图像块x
i
，每个分块大小为B*B，然后将图像块向量化为N*1维的向量， N＝B*B，归一化到[0,1]区间，用随机高斯矩阵φ对x
i
∈R
N
进行采样，获得对应的压缩观测值y
i
＝φx
i
,其中，y
i
∈R
M
，φ∈R
M*N
，M为获得的观测的长度， M＜＜N；
[0009]2)线性映射：将观测值与线性映射矩阵相乘得到图像块的初始重建值 Z
i
＝Qinit
·
y
i
，保存线性映射矩阵Qinit；
[0010]3)小波变换：将步骤2)初始重建数据分批次输入到网络中，将输入图像进行二阶Haar小波变换提取低频和高频分量，将初始图像块分解为低频和高频信息共四张大小为的子图，分别为含有低频信息的图像块Z
LL
、含有不同方向的高频信息的图像块Z
LH
、Z
HL
和Z
HH
；
[0011]4)多通道图像重建：将步骤3)小波变换得到的低频图像块Z
LL
输入到带有可变形卷积模块的残差网络通道1进行重建得到将得到的高频图像块分别输入到带有混合卷积模块的残差网络通道2、3、4进行重建得到分别将4个通道的重建图像采用上采样得到与原始分辨率大小相同的重建图像和
[0012]5)特征融合：先对步骤4)中通道2、3、4得到的高频重建图像采用相加进行特征融合得到高频重建图像再将通道1得到的低频重建图像和高频重建图像采用相加进行特征融合得到最终的重建图像Z
out
；
[0013]6)计算损失函数Loss：其中x
i
为初始信息x的第i个真值，f(y
i
)为第i个估计值；
[0014]7)判断误差是否达到设定值：设定阈值ε1，计算当前批次误差，如果未达到阈值ε1则进行误差反向传递，采用自适应学习率优化算法Adam更新权值，返回步骤3)，直到误差达到阈值ε1，则保存网络参数，结束训练。
[0015]步骤3)中所述提取低频和高频分量的具体过程：
[0016]3‑
1)将图像块x
i
分块成大小为B*B的图像块，然后将图像块向量化N*1维的向量，并将向量归一化到[0,1]区间，用随机高斯矩阵φ对x
i
∈R
N
进行采样，获得对应的压缩观测值y
i
＝φx
i
,其中，y
i
∈R
M
，φ∈R
M*N
，M为获得的观测的长度，M＜＜N；
[0017]3‑
2)将观测值与线性映射矩阵相乘得到图像块的初始重建值Z
i
＝Qinit
·
y
i
；
[0018]3‑
3)对初始重建值Z
i
进行二阶Haar小波变换，首先沿着Z
i
的每一行做一阶的Haar变换、然后再对每一列做一阶的Haar变换，然后对每个低频分量矩阵重覆上述步骤，如公式(1)、公式(2)所示：
[0019][0020][0021]其中h
high
为高通滤波器、允许高频信息通过；h
low
为低通滤波器、允许低频信息通过。
[0022]所述步骤4)的具体过程为：
[0023]4‑
1)将步骤3)中得到的低频图像块Z
LL
采用局部残差模块得到与步骤3) 得到的Z
LL
连接起来，再采用可变形卷积模块得到最后将与步骤3)得到的Z
LL
进行融合，采用亚像素卷积上采样得到B
×
B大小的低频重建图像如公式(3)所示：
[0024][0025]其中W
c1
和b
c1
表示滤波器和偏置，*表示卷积操作，F
tra
表示用来获取图像的高层语义特征可形变卷积模块，F
r3
表示用来进行浅层的特征提取和图像增强的局部残差模块，up
sub
表示亚像素卷积上采样；
[0026]4‑
2)对所述步骤3)中得到的高频图像块Z
LH
、Z
HL
、Z
HH
采用局部残差模块得到将它们分别与步骤3)得到的Z
LH...

【技术保护点】

【技术特征摘要】
1.基于小波多通道深度网络的图像压缩感知重建方法，其特征在于，包括如下步骤：1)训练数据预处理：将训练集中的图像进行随机裁剪分为大小相等的不重叠的图像块x
i
，每个分块大小为B*B，然后将图像块向量化为N*1维的向量，N＝B*B，归一化到[0，1]区间，用随机高斯矩阵φ对x
i
∈R
N
进行采样，获得对应的压缩观测值y
i
＝φx
i
，其中，y
i
∈R
M
，φ∈R
M*N
，M为获得的观测的长度，M＜＜N；2)线性映射：将观测值与线性映射矩阵相乘得到图像块的初始重建值Z
i
＝Qinit
·
y
i
，保存线性映射矩阵Qinit；3)小波变换：将步骤2)初始重建数据分批次输入到网络中，将输入图像进行二阶Haar小波变换提取低频和高频分量，将初始图像块分解为低频和高频信息共四张大小为的子图，分别为含有低频信息的图像块Z
LL
、含有不同方向的高频信息的图像块Z
LH
、Z
HL
和Z
HH
；4)多通道图像重建：将步骤3)小波变换得到的低频图像块Z
LL
输入到带有可变形卷积模块的残差网络通道1进行重建得到将得到的高频图像块分别输入到带有混合卷积模块的残差网络通道2、3、4进行重建得到分别将4个通道的重建图像采用上采样得到与原始分辨率大小相同的重建图像和5)特征融合：先对步骤4)中通道2、3、4得到的高频重建图像采用相加进行特征融合得到高频重建图像再将通道1得到的低频重建图像和高频重建图像采用相加进行特征融合得到最终的重建图像Z
out
；6)计算损失函数Loss：其中x
i
为初始信息x的第i个真值，f(y
i
)为第i个估计值；7)判断误差是否达到设定值：设定阈值ε1，计算当前批次误差，如果未达到阈值ε1则进行误差反向传递，采用自适应学习率优化算法Adam更新权值，返回步骤3)，直到误差达到阈值ε1，则保存网络参数，结束训练。2.根据权利要求1所述的基于小波多通道深度压缩感知图像重建方法，其特征在于，步骤3)中所述提取低频和高频分量的具体过程：3
‑
1)将图像块x
i
分块成大小为B*B的图像块，然后将图像块向量化N*1维的向量，并将向量归一化到[0，1]区间，用随机高斯矩阵φ对x
i
∈R
N
进行采样，获得对应的压缩观测值y
i
＝φx
i
，其中，y
i
∈R
M
，φ∈R
M*N
，M为获得的观测的长度，M＜＜N；3
...

【专利技术属性】
技术研发人员：林乐平，任天宇，欧阳宁，莫建文，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：