一种基于特征融合的密集残差网络图像压缩感知重建方法技术

本发明专利技术涉及图像处理领域，主要涉及一种基于特征融合的密集残差网络图像压缩感知重建方法。应用多个密集残差块，提出了一个基于压缩感知算法的密集残差网络(RDNCS)；每个密集残差块(RDB)包括连接记忆单元，局部特征融合单元，和局部残差学习单元。因此，本发明专利技术具有如下优点：1.在每一个RDB中，连接记忆单元机制、特征融合机制以及残差学习显著提高了图像重建质量。2.特征融合机制使得RDB网络获取的特征更加广泛与有效，自适应的获取重建所需的信息，而且降低了网络的特征图数量。

【技术实现步骤摘要】
一种基于特征融合的密集残差网络图像压缩感知重建方法
本专利技术涉及图像处理领域，主要涉及一种基于特征融合的密集残差网络图像压缩感知重建方法。
技术介绍
基于深度学习的压缩感知算法的目的是从测量信号中使用深度学习方法重建出高精度的系统图像，这是一个病态的逆问题。压缩感知算法在计算机视觉领域取得了充分的成功，例如卫星遥感呈像，医学影像的获取等等。在以往数据驱动的方法中，为了解决这一类问题，我们往往需要大量的训练。比如将堆叠去噪自编码器、卷积神经网络、残差网络运用到压缩感知重建算法中。在以往的重建算法中，大量的使用了CNN，但都是在卷积核的大小上做了改进，或者是对图像的空间排列顺序在作为网络的输入时做了重排，以获得图像像素域之间更强的相关性。在以往系列的神经网络算法中，图像的重建过程是从测量向量到重建图像的过程，是图像的层次信息由简单变复杂的一个过程，卷积层越接近最终的重建图像，卷积层所携带的层次信息越丰富，在接近测量图像的卷积层中，卷积核获取了大量的低层级信息，充分的利用这些低层次信息可以指导精确重建图像。
技术实现思路
本专利技术主要是解决现有技术所存在的无法充分利用每一个卷积层采集信息的问题，也即低层次信息无法被充分利用，重建图像结果往往至于最后一层卷积神经网络强相关的技术问题，如附图1所示。在传统的卷积神经网络中，直接获取低层级信息是非常困难的，本专利技术提出的RDNCS(ResidualDenseNetworkCompressedSensing，RDNCS)网络中，使用2个密集残差块RDB(ResidualDenseBlocks，RDB)，密集残差块充分利用低层级图像信息，精确重建出原始图像。在密集残差块中，RDB使用记忆单元MU(MemoryUnit，MU)，把低级别信息往密集残差内的每一层进行传递，并在使用残差学习，进一步提升图像重建质量。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种基于特征融合的密集残差网络图像压缩感知重建方法，其特征在于应用多个密集残差块，提出了一个基于压缩感知算法的密集残差网络(RDNCS)。每个密集残差块(RDB)包括连接记忆单元，局部特征融合单元，和局部残差学习单元，方法包括：步骤1、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块；步骤2、图像测量值y作为输入，在密集残差块内进行卷积池化操作后,连接记忆单元再将每一层的输出传递至下一层，而且还将每一层处理的信息传递至残差块内部的每一层；步骤3、局部特征融合单元再将步骤2中连接记忆单元的输出数据和所有卷积层产生的输出进行融合。利用3*3的卷积核进行卷积运算后得到卷积层的输出；步骤4、在密集残差块内，将正向传播的输入和步骤3中局部特征融合的输出进行跳跃连接后输出，此操作称为残差学习；步骤5、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块，在密集残差块内进行步骤2、3、4的操作输出到下一个密集残差块内，再重复以上操作，得到最终的重建图像。在上述的一种基于特征融合的密集残差网络图像压缩感知重建方法，连接记忆单元对电力系统图像测量值进行处理的具体步骤是：电力系统图像测量值进行卷积池化操作后，记忆单元将每一层的输出保留，不仅传递至下一层，而且将每一层处理的信息传递至残差块内部的每一层。连接记忆单元的作用是把当前层的信息经过处理后传递至密集残差块内的每一层，充分利用每一层的层级信息，在层与层之间的正向传播中，实现“信息共享”，网络结构中靠后的卷积层不仅获取了正向传播的信息，而且获取了更多的低层级信息。其传播过程可被表示为：Fd,c＝σ(Wd,c[Fd,1,...,Fd,c-1])其中，σ为ReLU激活函数，d表示为第d个密集残差块，c表示为密集残差块内第c层网络，Wd,c为第c卷积层的权重系数，当c＝1时，Fd,0为前一个密集残差块的输出。电力系统图像测量值进行卷积池化操作后，密集残差块内每层卷积层的权重系数分别和前一个卷积层的输出相乘，得出连接记忆单元的输出数据。在上述的一种基于特征融合的密集残差网络图像压缩感知重建方法，局部特征融合单元进行融合的具体方法是：局部特征融合单元将步骤2中连接记忆单元的输出数据Fd,c和所有卷积层产生的输出进行融合。每一个卷积层所产生的输出也充分代表了卷积层所代表层级内的特征信息，将这些信息与连接记忆单元的输出数据进行融合，自适应获取重建所需的精确信息。正如上一节所分析的，密集残差块内的每一个卷积层的输出都将输入至接下来的每一个卷积层，这时特征融合还能够有效的减少特征图的数量。使用1*1卷积来自适应的控制每一个密集残差块的输出。其过程可以被表示为：其中，表示在第d个残差块内的1*1卷积的特征融合层。Fd,LF表示局部特征融合的输出。在上述的一种基于特征融合的密集残差网络图像压缩感知重建方法，局部残差学习单元进行跳跃连接的具体方法是：在密集残差块内，我们使用了在传统残差网络中经常使用的跳跃连接，密集残差块的输出与局部特征融合的输出Fd,LF有关，还与正向传播的输入Fd-1有关，正向传播的输入Fd-1包括残差学习能够显著提高卷积神经网络处理的信息流，其过程可被表示为：Fd＝Fd-1+Fd,LFFd即为密集残差块的输出。残差学习在密集残差块产生了非常好的效果。在上述的一种基于特征融合的密集残差网络图像压缩感知重建方法，测量值y输入到密集残差块，在密集残差块内进行步骤2、3、4的操作输出到下一个密集残差块内，再重复以上操作，得到最终的重建图像，而且显著提高了图像重建质量。因此，本专利技术具有如下优点：1.在每一个RDB中，连接记忆单元机制、特征融合机制以及残差学习显著提高了图像重建质量。2.特征融合机制使得RDB网络获取的特征更加广泛与有效，自适应的获取重建所需的信息，而且降低了网络的特征图数量。附图说明附图1是本专利技术的基于特征融合的密集残差网络示意图。具体实施方式下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。实施例：在图中所示，RDNCS将电力系统图像测量值作为输入，然后输出重建图像。RDNCS包含2个密集残差块(RDB)，和传统的残差块不同的是，传统的残差网络只在残差块内部进行跳跃连接，而在此网络中，密集残差网络不仅在内部进行跳跃连接，而且将每个密集残差块的输出进行深度特征融合。密集残差块示意如图所示，在密集残差块中，具有连接记忆单元，局部特征融合，和局部残差学习的设置，下面我我们分别介绍其功能。1)连接记忆单元在密集残差块内部，连接记忆单元(MemoryUnit，MU)构成了密集残差块的密集连接，记忆单元将每一层的输出保留，交由密集连接机制处理，记忆单元将每一层的输出不仅传递至下一层，而且将每一层处理的信息传递至残差块内部的每一层。连接记忆单元的作用是把当前层的信息经过处理后传递至密集残差块内的每一层，充分利用每一层的层级信息，在层与层之间的正向本文档来自技高网...

【技术保护点】
1.一种基于特征融合的密集残差网络图像压缩感知重建方法，其特征在于，应用多个密集残差块，提出了一个基于压缩感知算法的密集残差网络(RDNCS)；每个密集残差块(RDB)包括连接记忆单元，局部特征融合单元，和局部残差学习单元，方法包括：/n步骤1、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块；/n步骤2、图像测量值y作为输入，在密集残差块内进行卷积池化操作后,连接记忆单元再将每一层的输出传递至下一层，而且还将每一层处理的信息传递至残差块内部的每一层；/n步骤3、局部特征融合单元再将步骤2中连接记忆单元的输出数据和所有卷积层产生的输出进行融合；利用3*3的卷积核进行卷积运算后得到卷积层的输出；/n步骤4、在密集残差块内，将正向传播的输入和步骤3中局部特征融合的输出进行跳跃连接后输出，此操作称为残差学习；/n步骤5、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块，在密集残差块内进行步骤2、3、4的操作输出到下一个密集残差块内，再重复以上操作，得到最终的重建图像。/n

【技术特征摘要】
1.一种基于特征融合的密集残差网络图像压缩感知重建方法，其特征在于，应用多个密集残差块，提出了一个基于压缩感知算法的密集残差网络(RDNCS)；每个密集残差块(RDB)包括连接记忆单元，局部特征融合单元，和局部残差学习单元，方法包括：
步骤1、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块；
步骤2、图像测量值y作为输入，在密集残差块内进行卷积池化操作后,连接记忆单元再将每一层的输出传递至下一层，而且还将每一层处理的信息传递至残差块内部的每一层；
步骤3、局部特征融合单元再将步骤2中连接记忆单元的输出数据和所有卷积层产生的输出进行融合；利用3*3的卷积核进行卷积运算后得到卷积层的输出；
步骤4、在密集残差块内，将正向传播的输入和步骤3中局部特征融合的输出进行跳跃连接后输出，此操作称为残差学习；
步骤5、输入无人机拍摄的电力系统图像，经过CS测量后得到测量值y，输入到密集残差块，在密集残差块内进行步骤2、3、4的操作输出到下一个密集残差块内，再重复以上操作，得到最终的重建图像。


2.根据权利要求1中所描述的一种基于特征融合的密集残差网络图像压缩感知重建方法，其特征在于，连接记忆单元对电力系统图像测量值进行处理的具体步骤是：电力系统图像测量值进行卷积池化操作后，记忆单元将每一层的输出保留，不仅传递至下一层，而且将每一层处理的信息传递至残差块内部的每一层；连接记忆单元的作用是把当前层的信息经过处理后传递至密集残差块内的每一层，充分利用每一层的层级信息，在层与层之间的正向传播中，实现“信息共享”，网络结构中靠后的卷积层不仅获取了正向传播的信息，而且获取了更多的低层级信息；其传播过程可被表示为：
Fd,c＝σ(Wd,c[Fd,1,...,Fd,c-1])
其中，σ为ReLU激活函数，d表示为第d个密集残差块，c表示为密集残差块内第c层网络，...

【专利技术属性】
技术研发人员：曾春艳，严康，叶佳翔，余琰，王正辉，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42