基于伪3D自相关网络的真实图像去噪方法技术

本发明专利技术公开了基于伪3D自相关网络的真实图像去噪方法，包括：基于一维快速卷积构建伪3D自相关模块P3AB，以用于：对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平、垂直和通道方向的自相关特征，完成所有位置遍历后，分别得到三个方向的伪3D自相关特征；对三个方向的伪3D自相关特征进行通道级联、自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；通过残差连接将全局自相关特征与输入特征图相加后作为P3AB的输出；构建伪3D自相关网络P3AN；P3AN包括浅层特征提取单元、堆叠的P3AB和末尾卷积层，并设置有两层跳跃连接；训练P3AN；利用训练好的P3AN对输入的真实噪声图像进行去噪，输出去噪后的图像。

【技术实现步骤摘要】
基于伪3D自相关网络的真实图像去噪方法
本专利技术涉及计算机视觉和图像处理领域，特别涉及一种基于伪3D自相关网络的真实图像去噪方法。
技术介绍
自然图像中的噪声往往具有多种来源，例如捕获仪器中的暗电流噪声和传输介质中的随机扰动等。目前大量先进的方法已经在去除合成的高斯白噪声方面取得了显著的效果。但是，真实图像中的噪声在CCD或CMOS相机系统中往往具有复杂的生成过程，他们通常是非高斯和不均匀的。因此，在真实噪声图像的复原任务中，基于合成数据的去噪算法很难准确地模拟和去除不规则噪点。对于盲图像去噪，由于缺少特定的噪声先验，输入的低质量噪声图像成为唯一的信息来源。因此，如何从原始图像中捕捉更完备的先验特征和相关性信息显得尤为重要。图像的自相关性先验已经在许多传统降噪算法中得到了广泛探索并发挥了重要作用。为了使模型具有强大的学习和表示能力，最近的方法试图利用深度学习方法来积累更有效和全面的先验知识。目前，自相关特征在卷积神经网络中的提取可分为基于通道和基于空间的算法。基于空间的算法则围绕着被证明为自然图像的强大特性的空间自相似性展开。一种通用的做法是通过非本地块获得空间域中的全局自相关，再相应计算为所有像素方向特征的加权和特征图，以获得密集和像素级的远程全局上下文信息。然而，图像自相关性在深度学习中的进一步探索遭遇了瓶颈。一方面，尽管在基础CNN中增加捕捉其中某种类型的全局自相关性的结构已经带来了更高的模型复杂度和较大的计算负担，大多数现有方法仍致力于构建更复杂的自相关模块以实现更好的性能。另一方面，CNN中的特征图通常是3维的，因此一个完备的自相关特征应该同时具备通道和空间两个方向。一个直观的方案是引入3D卷积，伴随参数的爆炸式增长。目前有一些方法通过串联或并联的结构结合通道中的自注意力和空间中的自相似性机制。这种分步操作不仅增加了模型的复杂度，也会破坏局部区域中连续的相关性。高模型复杂性使得大多数自相关模块只能在单个或几个卷积块中使用。可见，现有技术对于真实噪声图像的去噪，存在去噪效果差、去噪模型复杂度高、计算负担大的问题。
技术实现思路
本专利技术的主要目的在于提出一种基于伪3D自相关网络的真实图像去噪方法，解决目前真实噪声图像的去噪方法所存在的去噪效果差、去噪模型复杂度高且计算负担大的问题。本专利技术为解决上述问题所提出的技术方案如下：一种基于伪3D自相关网络的真实图像去噪方法，包括：S1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；S2、基于所述伪3D自相关模块，构建伪3D自相关网络；所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接；S3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络；S4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，输出去噪后的图像。本专利技术上述技术方案与现有技术相比，具备如下有益效果：首先，对于特征图每个方向上的元素，一维快速卷积可以在不更改维度大小的情况下从所有其他位置收集信息，并且一维快速卷积的参数共享和局部连接可快速降低计算复杂度，因此本专利技术将一维快速卷积这种聚合方法扩展到3D空间，以简单、快速地捕获水平、垂直和通道三个方向的自相关信息，避免大的注意力特征图带来高计算复杂度。其次，一维快速卷积提取自相关特征的操作不改变特征图的尺寸，这使得跨方向的融合成为可能，只需要简单的通道级联和自适应特征融合就可以集成包含水平、垂直和通道三个方向自相关信息的全局自相关特征。此外，本专利技术构建了轻量化的伪3D自相关网络，通过连续的伪3D自相关模块堆叠和跳跃连接，每个位置都可以考虑从3D空间的所有局部像素收集上下文信息，实现具有低时间和空间复杂性的跨方向信息交互，并获得用于真实图像去噪的更多判别特征。总之，本专利技术的方法可以以较低的模型复杂度在多个真实世界噪声数据集中获得了出色的去噪性能。附图说明图1是一维快速卷积提取空间自相关特征的示意图；图2是本专利技术实施例提取伪3D全局自相关特征的示意图；图3是本专利技术实施例伪3D自相关模块的内部处理流程图；图4是本专利技术实施例伪3D自相关网络的网络架构图。具体实施方式下面结合附图和具体的实施方式对本专利技术作进一步说明。本专利技术的实施例提出一种基于伪3D自相关网络的真实图像去噪方法，主要包括步骤S1-S4：S1、基于一维快速卷积构建伪3D自相关模块(pseudo3Dauto-correlationblocks，P3AB)，所述伪3D自相关模块用于执行如下操作：首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出。图1为一维快速卷积提取空间自相关特征的示意图。如图1所示，对于一个大小为W×H的二维特征图10，采用一维快速卷积提取空间自相关特征的过程包括：对特征图的每个位置上的元素(或称“块”)，都去进行水平方向和垂直方向的自相关特征提取，比如图1中所示，是提取特征图10中的块05的空间自相关特征的过程示意图，首先将原始的特征图10与标记了块05的垂直方向和水平方向的特征图10’进行一维快速卷积，得到块05的水平方向自相关特征11和垂直方向自相关特征12；再将水平方向自相关特征11和垂直方向自相关特征12进行自适应融合，得到块05的空间自相关特征20。对于原始输入的特征图10，遍历完所有位置的块执行同样的提取操作，最后将所有块的空间自相关特征融合即可得到特征图10的空间域自相关信息。由于一维快速卷积提取自相关信息的操作不改变特征的尺寸，因此只需要进行简单的通道级联和自适应融合就可以同时捕获水平、垂直和通道三个方向的自相关信息。基于此，可以将一维快速卷积提取自相关信息的操作引入到通道域，对包含水平、垂直和通道三个方向的三维特征本文档来自技高网...

【技术保护点】
1.一种基于伪3D自相关网络的真实图像去噪方法，其特征在于，包括：/nS1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：/n首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；/nS2、基于所述伪3D自相关模块，构建伪3D自相关网络；/n所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接；/nS3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络；/nS4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，输出去噪后的图像。/n...

【技术特征摘要】
1.一种基于伪3D自相关网络的真实图像去噪方法，其特征在于，包括：
S1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：
首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；
S2、基于所述伪3D自相关模块，构建伪3D自相关网络；
所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接；
S3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络；
S4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，输出去噪后的图像。


2.如权利要求1所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元采用若干个卷积层提取原始特征图的浅层特征。


3.如权利要求2所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元包含3个串联的卷积层，卷积内核的大小依次为3×3、1×1、3×3。


4.如权利要求1所述的真实图像去噪方法，其特征在于，所述末尾卷积层为一个3×3的卷积层，用以自适应调整融合特征。


5...

【专利技术属性】
技术研发人员：王好谦，胡小婉，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44