【技术实现步骤摘要】
基于CNN
‑
Transformer的局部全局交互式图像恢复方法
[0001]本专利技术属于计算机视觉领域
。
技术介绍
[0002]图像恢复任务是计算机视觉中的一个热门的研究课题，它的目的是从噪声观测中恢复出来干净的图像
。
这是一个极具挑战性的问题，因为在真实场景中存在着十分复杂的噪声场景
。
为了适应各种退化的噪声，现有的最先进的恢复技术
—
卷积神经网络算法
(CNNs)
和
Transformer
算法，经常通过从大规模数据中捕获自然图像的统计信息用来学习隐藏的先验知识和先验特征
。
[0003]近年来，卷积神经网络和
Transformer
逐渐取代了传统的恢复方法，成为了最主流的恢复方式
。
卷积神经网络的核心是卷积运算，它分层地收集特征信息，用来获得更好的图像表示
。
虽然该方法在局部特征的提取方面取得了令人印象深刻的结果，但由于卷积运算的感受域有限，它缺乏捕获全局表示的能力
。
它对于长距离像素关系进行建模是很糟糕的
。
尽管人们试图通过加入注意力机制来提高网络在捕捉全局特征方面上的性能，但如果卷积没有与注意力机制适当地集成，局部特征细节甚至可能被破坏
。
[0004]为了解决这个问题，最近的几项
Transformer
工作开始尝试使用位置块来提取参数向量作为视觉表示...
【技术保护点】
【技术特征摘要】
1.
一种基于
CNN
‑
Transformer
的局部全局交互式图像恢复方法，其特征在于，包括以下步骤：获取合成模糊图像数据集作为训练集；构建基于
CNN
‑
Transformer
的局部全局交互式图像恢复模型，其中所述局部全局交互式图像恢复模型包括：
CNN
分支
、Transformer
分支
、
交互学习
‑
耦合连接
、
交互学习
‑
跳跃连接；使用所述训练集对所述局部全局交互式图像恢复模型进行训练；获取待恢复图像，将所述待恢复图像输入训练好的局部全局交互式图像恢复模型中，进行图像降噪
。2.
根据权利要求1所述的方法，其特征在于，所述基于
CNN
‑
Transformer
的局部全局交互式图像恢复模型，利用
CNN
和
Transformer
结合的方式以及基于交互式学习的方法引导局部和全局信息的提取和耦合
。3.
根据权利要求2所述的方法，其特征在于，所述利用
CNN
和
Transformer
结合的方式，包括设计一个耦合块用于耦合局部和全局的信息，所述耦合块为具有三明治结构的块，包括外部两侧的
CNN
分支和中间的
Transformer
分支；所述基于交互式学习的方法包括块内耦合连接方法和用于交互式学习的块间跳跃连接方法
。4.
根据权利要求3所述的方法，其特征在于，所述具有三明治结构的块，包括：使用批量归一化和层归一化用来对齐特征值，并设计1×1卷积用来对齐耦合连接处的通道维度，用交互的方式桥接两个分支
。5.
根据权利要求3所述的方法，其特征在于，所述的外部两侧的
CNN
分支，包括：两个重复的卷积和注意力的步骤，位于耦合块的最外两侧；每个卷积和注意力的步骤包含了改变特征图的通道数量的1×1卷积
、
调整特征图的分辨率的3×3深度卷积和预测特征图潜在关键特征的通道注意力块；所述
CNN
分支用于通过堆叠一系列的卷积运算操作来逐渐扩大
CNN
的感受野
。6.
根据权利要求3所述的方法，其特征在于，所述的中间的
Transformer
分支，用于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。