基于卷积神经网络的任意尺度自适应压缩感知重建方法技术

本发明专利技术涉及一种基于卷积神经网络的任意尺度自适应压缩感知重建方法。其步骤为：(1)使用线性全卷积神经网络对输入图像进行压缩测量；(2)使用全卷积神经网络对测量结果进行重建，得到初始的重建结果；(3)将重建结果输入到基于卷积神经网络的注意力模块，得到注意力图；(4)将注意力图与输入图像点乘，得到调制后的输入图像；(5)使用线性全卷积神经网络对调制后的输入图像进行压缩测量；(6)使用全卷积神经网络对测量结果进行重建，并与之前的重建结果相加，得到新的重建结果；(7)重复步骤(3)～(6)，得到目标压缩率下的重建结果。本发明专利技术能够处理任意尺度的输入图像并实现多种采样率，提高了网络的鲁棒性和压缩测量的效率。提高了网络的鲁棒性和压缩测量的效率。提高了网络的鲁棒性和压缩测量的效率。

【技术实现步骤摘要】
基于卷积神经网络的任意尺度自适应压缩感知重建方法


[0001]本专利技术属于图像处理领域，尤其涉及针对任意尺度输入图像的自适应压缩感知重建领域。

技术介绍

[0002]压缩感知(Compressive sensing)理论是21世纪提出的新采样理论，其能够在原始信号满足稀疏性的条件下，以远低于奈奎斯特采样率对原始信号进行采样，并精确地恢复原始信号，有效地降低了采集端的数据量，将计算负荷转移到了后端。其数学模型为：y＝ψx，其中x∈R
N
，为N维原始信号，ψ∈R
M
×
N
为M
×
N维测量矩阵，y∈R
M
为M维测量结果，其中M＜＜N。
[0003]通常独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵，但是如果原始信号x的维度比较高，会导致测量矩阵过大，带来存储压力。因此，在实践中通常会对输入图像进行分块处理，来减少存储压力，但是会带来明显的块状效应。由于卷积可以展开表示为传统乘法的形式，因此近些年随着深度学习的发展，有科研人员尝试用线性全卷积神经网络来代替传统的测量矩阵，使用全卷积网络作为测量矩阵的好处是可以针对任意尺度的输入进行处理，不用再对图像进行分块。
[0004]自适应压缩感知是提高采样效率的一个途径，传统的自适应压缩感知使用人工设计的不同的掩膜对输入图像进行调制，其本质依然是一种固定模式测量的方法。在深度学习中，注意力机制最先在自然语言处理中被提出，后来科研人员将其引入到图像处理的领域，并取得了不错的结果。但目前还没有将注意力机制引入到压缩感知这个领域的方法。。
[0005]对图像压缩测量后，需要对测量的结果进行重建。传统的重建算法面临着计算开销大、复杂度高和重建速度慢等问题。深度学习的出现大大提升了重建效率和质量，而现有的基于卷积神经网络的重建方法需要针对不同的采样率训练不同的网络，大大增加了算法的复杂性，降低了算法的可实用性。

技术实现思路

[0006]针对以上现有的压缩感知重建方法存在的问题，本专利技术的目的在于提出一种针对任意尺度输入图像的自适应压缩感知重建方法。
[0007]为达到上述目的，本专利技术采用的计算方案如下：
[0008]基于卷积神经网络的任意尺度自适应压缩感知重建方法，包括以下步骤：
[0009]步骤1，使用基于线性全卷积神经网络ψ1对输入图像I进行压缩测量，得到测量结果y1；
[0010]步骤2，使用全卷积神经网络F1对测量结果y1进行重建，得到初始的重建结果r1；
[0011]步骤3，将重建结果r1输入到基于卷积神经网络的注意力模块T1，得到注意力图A1；
[0012]步骤4，将注意力图A1与输入图像I进行点乘，得到调制后的输入图像I1；
[0013]步骤5，使用线性全卷积神经网络ψ2对调制后的输入图像I1进行压缩测量，得到测
量结果y2；
[0014]步骤6，使用全卷积神经网络F2对测量结果y2进行重建，得到的结果与步骤2的重建结果r1相加，得到重建结果r2；
[0015]步骤7，重复步骤3～6，直到得到目标压缩率下的重建结果r
i
，其中i代表迭代的次数。
[0016]进一步地，步骤1中线性全卷积神经网络ψ1具体结构为：
[0017]输入为m*n*1的图像，输出的压缩测量结果，其第一层卷积层共1个卷积核，卷积核大小为k*k，步长为1，pad为第二层和第三层卷积层各s个卷积核，卷积核大小为k*k，步长为1，pad为第四层和第五层卷积层共s个卷积核，卷积核大小为k*k，步长为2，pad为第六层共1个卷积核，卷积核大小为k*k，步长为2，pad为其中，[
·
]表示向下取整。
[0018]进一步地，步骤2中全卷积神经网络F1具体结构为：
[0019]输入为的压缩测量结果，输出的重建结果，其第一部分为1个卷积层，卷积层共s个卷积核，卷积核大小为k*k，步长为1，pad为第二部分为1个残差密集块，其中卷积核大小为k*k，步长为1，pad为第三部分为串联的3个上采样模块，每个上采样模块的结构为：第一层为卷积层，共s个卷积核，卷积核大小为k*k，步长为1，pad为第二层使用亚像素卷积作为上采样层，上采样因子设为2，第三层为激活层，使用Leaky Relu作为激活函数；第四部分为1个卷积层，共1个卷积核，卷积核大小为k*k，步长为1，pad为
[0020]进一步地，步骤3中基于卷积神经网络的注意力模块T1具体结构为：
[0021]前两层为卷积层，每层各1个卷积核，卷积核大小为k*k，步长为1，pad为第三层为激活层，使用sigmoid函数作为激活函数。
[0022]本专利技术为了实现自适应的压缩感知重建，使用了线性全卷积网络代替传统测量矩阵，并引入注意力模块对输入图像进行调制，实现随输入变化而变化的自适应压缩感知重建。本专利技术方法的有益效果在于：(1)由于整个网络为全卷积网络，因此可以针对任意尺度的输入进行压缩重建，不会造成块状效应；(2)通过引入注意力机制分多次进行采样重建，可以实现用一个网络完成不同采样率下的压缩感知重建，并且自适应压缩采样能够提高压缩测量的效率。
附图说明
[0023]图1为本专利技术的方法流程图。
[0024]图2为本专利技术实施例中压缩采样网络的具体结构示意图。
[0025]图3为本专利技术实施例中重建网络的具体结构示意图
具体实施方式
[0026]下面将结合附图及具体实施例对本专利技术进行详细描述。
[0027]参照图1，本实施例的一种基于卷积神经网络的任意尺度自适应压缩感知重建方法，具体包括如下步骤：
[0028]步骤1，压缩测量：压缩测量使用线性全卷积神经网络ψ1，其输入为m*n*1的图像I，输出为的压缩测量结果y1，其第一层卷积层共1个卷积核，卷积核大小为k*k，步长为1，pad为第二层和第三层卷积层各s个卷积核，卷积核大小为k*k，步长为1，pad为第四层和第五层卷积层共s个卷积核，卷积核大小为k*k，步长为2，pad为第六层共1个卷积核，卷积核大小为k*k，步长为2，pad为值得注意的是[
·
]表示向下取整，ψ1中卷积层不使用任何的偏置和激活函数，该线性全卷积神经网络可以等效为压缩感知中的测量矩阵。
[0029]步骤2，重建：重建过程使用全卷积神经网络F1，其输入为的压缩测量结果y1，输出的重建结果r1，其第一部分为1个卷积层，卷积层共s个卷积核，卷积核大小为k*k，步长为1，pad为第二部分为1个残差密集块，其中卷积核大小为k*k，步长为1，pad为第三部分为串联的3个上采样模块，每个上采样模块的结构为：第一层为卷积层，共s个卷积核，卷积核大小为k*k，步长为1，pad为第二层使用亚像素卷积作为上采样层，上采样因子设为2，第三层为激活层，使用Leaky Relu作为激活函数；第四部分为1个卷积层，共1个卷积核，卷积核大小为k*k，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络的任意尺度自适应压缩感知重建方法，其特征在于，包括以下步骤：步骤1，使用基于线性全卷积神经网络ψ1对输入图像I进行压缩测量，得到测量结果y1；步骤2，使用全卷积神经网络F1对测量结果y1进行重建，得到初始的重建结果r1；步骤3，将重建结果r1输入到基于卷积神经网络的注意力模块T1，得到注意力图A1；步骤4，将注意力图A1与输入图像I进行点乘，得到调制后的输入图像I1；步骤5，使用线性全卷积神经网络ψ2对调制后的输入图像I1进行压缩测量，得到测量结果y2；步骤6，使用全卷积神经网络F2对测量结果y2进行重建，得到的结果与步骤2的重建结果r1相加，得到重建结果r2；步骤7，重复步骤3～6，直到得到目标压缩率下的重建结果r
i
，其中i代表迭代的次数。2.根据权利要求1所述的基于卷积神经网络的任意尺度自适应压缩感知重建方法，其特征在于，步骤1中线性全卷积神经网络ψ1具体结构为：输入为m*n*1的图像，输出的压缩测量结果，其第一层卷积层共1个卷积核，卷积核大小为k*k，步长为1，pad为第二层和第三层卷积层各s个卷积核，卷积核大小为k*k，步长为1，pad为第四层和第五层卷积层共s个卷积核，卷积核大小为k*k，步长为2，pad为第六层共1个卷积核，卷积核大小为k*k，步长为2，pad为其中，[
·
]表示向下取整。3.根据权利要求1所述的基于卷积神经网络的任意尺度自适应压缩感知重建方法，其特征...

【专利技术属性】
技术研发人员：胡雪梅，邱晨曦，岳涛，
申请(专利权)人：南京大学，
类型：发明
国别省市：