一种基于深度学习的全注意力机制图像修复算法制造技术

图像修复算法是指将低质量的图像通过算法自动恢复出高质量的图像，随着深度学习在图像修复领域的不断发展，现在的方法面临两个主要难点：1、如何修剪现有的算法模型复杂度，实现更加快速的图像修复算法。2、如何更加有效的利用低质量图像中的准确点来对噪声点进行修复，即结果的准确性应该如何继续提升。基于此，我们设计了一个简洁高效的由全注意力层递归而成的算法，此算法结合了空间注意力机制和通道注意力机制，从而有效的提升了图像修复的效果。果。果。

【技术实现步骤摘要】
一种基于深度学习的全注意力机制图像修复算法
1、

[0001]本专利技术涉及一种基于全注意力机制的图像修复算法，其
主要涉及图像处理技术，深度学习技术，目标优化技术。
2、
技术介绍

[0002]图像修复算法是指将低质量的图像通过算法自动恢复出高质量的图像，低质量的图像包括：有高斯噪声的图像，有雨点雾气的图像，低分辨率的图像，被光照影响的图像等等。而高质量的图像则是去掉高斯噪声的图像，去雨去雾的图像，高分辨率的图像等。图像修复任务通常被定义为视觉任务中的底层次密集性预测任务，相对于高层语义任务如分类任务分割任务等，对算法提出了更高的要求。
[0003]而深度神经卷积网络已经被应用到各种计算机视觉任务中，并且极大的推动了计算机视觉研究进展。深度学习通常以卷积神经网络为基础，通过一层层的卷积设计与残差学习，以端到端的方式训练标注数据最终实现得到预测结果。图像修复的研究者也引入了深度神经卷积网络来解决该任务面临的难点，深度学习技术第一次用于图像修复任务中是在2016年时提出的SRCNN，随着新的图像修复技术的引入，图像修复任务的精度和速度得到了很大的提升。然而，伴随着该领域研究的深入和应用场景的不断更新。这类方法面临两个主要难点：1、如何修剪现有的算法模型复杂度，实现更加快速的图像修复算法。2、如何更加有效的利用低质量图像中的准确点来对噪声点进行修复，即结果的准确性应该如何继续提升。
3、
技术实现思路

[0004]为了更好的利用深度学习算法来进行图像的修复，我们专利技术了一种新的图像修复算法，用全注意力模块儿进行图像特征的重用和特征的选择，将局部特征和全局特征都进行了充分的利用。据此，我们还提出逐像素和逐通道注意力相结合的模块儿，此模块儿可以相当程度的提升图像修复的性能。
4、附图说明
[0005]图1：该图展示了我们提出的注意力网络中的编解码网络。该网络首先采用卷积神经网络作为主干网络，经过5个小的模块儿来不断提取特征，然后在最后添加特征重用层来高效融合具有语义信息的高层特征和具有丰富细节信息的底层特征。模块儿与模块儿之间则添加了残差连接，此残差连接不同于一般网络中的直接相加的方式，而是采用了特征联结的组织方式，此连接能够将网络的性能提升到一个非常高的水平。
[0006]图2.该图展示了我们与其他网络架构在基本架构上的不同之处，相对其他网络的复杂结构，我们提出了更加综合高效的卷积层组织方式。
[0007]图3.该图展示了我们的空间注意力机制和特征注意力机制的细节设计。
5、具体实施方式
[0008]我们使用5个模块儿组成我们的网络架构，同时每个模块儿由6个注意力层组织而成，我们首先将低质量的图像输入网络之中，利用第一个模块儿得到特征F0，然后利用将F0直接输入到第二个模块儿当中，从而得到第二个模块儿的输出F1，并且F0也会经过一个残差连接，然后与F1一起输入到下一个模块儿当中，这也就是模块儿递归的核心思想。即，Fn＝H(Fn
‑
1,Fn
‑
2).
[0009]在每个模块儿内部，我们采用了6个经过设计的注意力层，每个注意力层内部又被细分为卷积层，激活层，空间注意力层和像素注意力层。具体来说，特征首先经过一个卷积层，然后经过一个PreLU激活函数，再经过一个卷积层。此时，图像的特征已经被有效的提取了出来，在这之后，经过一个空间注意力层对空间上每个位置的像素点之间进行加权，经过加权之后的特征相对加权之前具有更少的噪声信息，同时，在深度学习中，一个像素并不是一个数值，而是一个n维的向量，我们称每个向量维度为一个通道，除了像素之间的空间信息外，像素的通道之中也包含很多的底层信息可以用来恢复我们的高质量图像，因此在经过注意力层加权之后，我们加入了一个通道注意力层，在通道注意力层中，我们首先对特征图做一个全局平均池化操作，经过全局平均池化操作之后，一个大小为HWn的特征图会被压缩为一个n维特征向量，这个特征向量包含了丰富的全局特征信息，接着将这个特征向量输入进1维卷积之中，最后经过一个sigmoid计算，得到每个通道的权重，然后对特征图以通道为基准进行加权求和，去除掉通道上的噪声。
[0010]在经过5模块儿，每个模块儿6个层级的计算之后，最后的特征经过一个卷积层得到最后的输出，输出的结果在训练期间我们与真实的高质量数据进行绝对相对误差损失，反向传播更新网络参数。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.在图像修复网络算法中，设计一种新颖的网络组织架构，它利用模块儿之间的递归排列有效的提高了网络的运行效率。2.在图像...

【专利技术属性】
技术研发人员：田英杰，王仪琦，
申请(专利权)人：王仪琦，
类型：发明
国别省市：