多分辨率特征交叉融合的图像压缩感知重构系统及其方法技术方案

本发明专利技术公开了一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法，及图像成像与重建技术领域。本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像X

【技术实现步骤摘要】
多分辨率特征交叉融合的图像压缩感知重构系统及其方法
本专利技术涉及图像成像与重建
，尤其涉及一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法；详细地说，本专利技术是一种基于测量矩阵与深度重构联合优化框架，利用多分辨率特征交叉融合技术提升图像恢复质量的压缩感知重构系统及其方法。
技术介绍
压缩感知是一种新的信号采样理论。比较传统的香农采样，压缩感知证明了可实现对稀疏信号降维采样的准确重构，因此可大大减少采样的数据量，从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题，自压缩感知理论提出至今一直是该领域关注的研究热点。近年来，随着深度学习在图像识别领域取得的成功应用，基于深度网络的压缩感知重构实现得到了极大关注和飞速发展。【参见文献：[1]MousaviA，PatelAB，BaraniukRG,etal.Adeeplearningapproachtostructuredsignalrecovery[C]//IEEE.IEEECommunication，Control，andComputing.Monticello：IEEE,2016：1336-1343；[2]ShiW，JiangF，LiuS，etal.Imagecompressedsensingusingconvolutionalneuralnetwork[J].IEEETransactionsonImageProcessing,2019，29：375-388；[3]ZhangZ，LiuY，LiuJ，etal.AMP-Net：DenoisingbasedDeepUnfoldingforCompressiveImageSensing[J].IEEETransactionsonImageProcessing，2021，30：1487-1500】深度学习方法与传统方法比较，能够极大地提升压缩感知图像的重构质量，并且因为采用端对端映射，因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化，因而可以更加有效地提升测量效率和重构性能。尽管多尺度特征提取可有益于提升深度网络的特征学习表示能力，从而有助于增强压缩感知图像的深度重构性能【参见文献：[4]LiuR,LiSandHouC,AnEnd-to-EndMulti-ScaleResidualReconstructionNetworkforImageCompressiveSensing.[C]//2019IEEEInternationalConferenceonImageProcessing(ICIP).IEEE,2019:2070-2074】。但是，现有方案基本上基于单一分辨率图像内的多尺度特征增强，因此限制了深度网络的特征表达能力及系统重构性能。
技术实现思路
本专利技术的目的就在于克服上述
技术介绍
的缺点和不足，提供一种基于多分辨率特征交叉融合的图像压缩感知重构系统及其方法；具体地说，本专利技术是基于深度卷积网络，采用多分辨率图像特征并行提取与交叉融合增强的策略，提升深度网络的特征学习能力，从而更好地提升重构性能的图像压缩感知重构系统及其方法，通过通道注意力机制，利用更容易准确重构的低分辨率图像的通道注意力信息辅助高分辨率图像的深度特征判别增强，从而得到原始图像的高质量重建结果。本专利技术的技术思路是：首先采用并行处理技术对输入的图像测量值进行原始图像的多分辨率初始重构，得到多个分辨率的初始重构图像；然后，利用并行的多个通路，分别对不同分辨率的初始重构图像进行深度细化重构，得到原始图像的高质量重构及其分辨率减少的高质量重构结果。为了改进深度重构图像质量，本专利技术采用低分辨率重构通路的深度特征的通道注意力信息，辅助高分辨率通路的深度特征的判别增强，并且对不同分辨率通路的深度特征进行交叉融合以实现信息互补增强。另外，在深度网络的训练阶段，本专利技术设计损失函数为多个分辨率图像的重构损失的加权和，优化参数学习。具体地说，本专利技术的技术方案是：一、多分辨率特征交叉融合的图像压缩感知重构系统(简称系统)本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块、多分辨率增强重构模块，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；多分辨率初始重构模块设置有并行的高分辨率初始重构单元和低分辨率初始重构单元，多分辨率增强重构模块设置有深度特征提取1单元、深度特征提取2单元、通道注意力单元、特征判别增强1单元、特征判别增强2单元、特征交叉融合单元、高分辨率残差重构单元、低分辨率深度重构单元和加法器单元；其交互关系是：输入的图像测量值Y、高分辨率初始重构单元、深度特征提取1单元、特征判别增强1单元、特征交叉融合单元、高分辨率残差重构单元和加法器单元依次交互；输入的图像测量值Y、低分辨率初始重构单元、深度特征提取2单元、特征判别增强2单元、特征交叉融合单元和低分辨率深度重构单元依次交互；深度特征提取2单元的输出同时与通道注意力单元的输入端交互，通道注意力单元的输出端同时与特征判别增强1单元的另一输入端和特征判别增强2单元的另一输入端交互；加法器单元的输出为重构的高分辨率图像XH，低分辨率深度重构单元的输出为重构的低分辨率图像XL。二、多分辨率特征交叉融合的图像压缩感知重构方法(简称方法)本方法包括下列步骤：①多分辨率初始重构a)高分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的高分辨率初始估计IH；b)低分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的低分辨率初始估计IL，比如分辨率减少为原来的1/2；②多分辨率增强重构i)深度特征提取i.1)深度特征提取1单元接收输入的原始图像的高分辨率初始估计IH，通过多层卷积运算，提取IH的第一深度特征DF1；i.2)深度特征提取2单元接收输入的原始图像的低分辨率初始估计IL，通过多层卷积运算，提取IL的第二深度特征DF2；ii)特征判别增强ii.1)通道注意力单元，接收输入的深度特征提取2单元提取第二深度特征DF2，通过多层卷积运算，提取第二深度特征DF2的通道重要性权值W；ii.2)特征判别增强1单元，接收输入的深度特征提取1单元生成IH的深度特征DF1和通道注意力单元生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1，即EF1＝W×DF1；ii.3)特征判别增强2单元，接收输入的深度特征提取2单元生成IL的深度特征DF2和通道注意力单元生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2，即EF2＝W×DF2；iii)特征交叉融合iii.1)特征交叉融合单元，接收输入的特征判别增强1单元输出的第一深度特征EF1和特征判别增强2单元输出的第二深度特征EF2，采用卷积与下采样运算，生成维数与第二深度特征EF2相同的本文档来自技高网...

【技术保护点】
1.一种多分辨率特征交叉融合的图像压缩感知重构系统，其特征在于：/n包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像X

【技术特征摘要】
1.一种多分辨率特征交叉融合的图像压缩感知重构系统，其特征在于：
包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；
多分辨率初始重构模块(10)设置有并行的高分辨率初始重构单元(11)和低分辨率初始重构单元(12)，多分辨率增强重构模块(20)设置有深度特征提取1单元(21)、深度特征提取2单元(22)、通道注意力单元(23)、特征判别增强1单元(24)、特征判别增强2单元(25)、特征交叉融合单元(26)、高分辨率残差重构单元(27)、低分辨率深度重构单元(28)和加法器单元(29)；
其交互关系是：
输入的图像测量值Y、高分辨率初始重构单元(11)、深度特征提取1单元(21)、特征判别增强1单元(24)、特征交叉融合单元(26)、高分辨率残差重构单元(27)和加法器单元(29)依次交互；
输入的图像测量值Y、低分辨率初始重构单元(12)、深度特征提取2单元(22)、特征判别增强2单元(25)、特征交叉融合单元(26)和低分辨率深度重构单元(28)依次交互；
深度特征提取2单元(22)的输出同时与通道注意力单元(23)的输入端交互，通道注意力单元(23)的输出端同时与特征判别增强1单元(24)的另一输入端和特征判别增强2单元(25)的另一输入端交互；
加法器单元(29)的输出为重构的高分辨率图像XH，低分辨率深度重构单元(28)的输出为重构的低分辨率图像XL。


2.按权利要求1所述的图像压缩感知重构系统，其特征在于：
所述的高分辨率初始重构单元(11)接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的高分辨率初始估计IH；
所述的低分辨率初始重构单元(12)接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的低分辨率初始估计IL；
所述的深度特征提取1单元(21)接收输入的原始图像的高分辨率初始估计IH，通过多层卷积网络，提取IH的深度特征DF1；
所述的深度特征提取2单元(22)接收输入的原始图像的低分辨率初始估计IL，通过多层卷积网络，提取IL的深度特征DF2；
所述的通道注意力单元(23)，接收输入的深度特征提取2单元(22)提取IL的深度特征DF2，通过多层卷积网络，提取IL的深度特征DF2的通道重要性权值W；
所述的特征判别增强1单元(24)，接收输入的深度特征提取1单元(21)生成的深度特征DF1和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1；
所述的特征判别增强2单元(25)，接收输入的深度特征提取2单元(22)生成的第二深度特征DF2和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2；
所述的特征交叉融合单元(26)，接收输入的特征判别增强1单元(24)输出的第一深度特征EF1和特征判别增强2单元(25)输出的第二深度特征EF2，通过卷积网络，首先将第一深度特征EF1进行下采样运算使其维数与第二深度特征EF2相同，生成第一深度特征EF1的下采样表示dEF1，同时将第二深度特征EF2进行上采样运算使其维数与第一深度特征EF1相同，生成第二深度特征EF2的上采样表示uEF2，然后将第一深度特征EF1与第二深度特征EF2的上采样表示uEF2融合，生成第一融合特征FF1，将第二深度特征EF2与第一深度特征EF1的下采样表示dEF1融合，生成第二融合特征FF2；
所述的高分辨率残差重构单元(27)，接收输入的特征交叉融合单元(26)输出的第一融合特征FF1，通过卷积网络，生成高分辨率图像的残差图像XR；
所述的低分辨率深度重构单元(28)，接收输入的特征交叉融...

【专利技术属性】
技术研发人员：熊承义，秦鹏飞，高志荣，刘川鄂，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：湖北;42