一种基于自监督残差感知网络的数码变焦方法技术

技术编号:23986718 阅读:33 留言:0更新日期:2020-04-29 13:54
本发明专利技术公开了一种基于自监督残差感知网络的数码变焦方法,首先,对SRRAW数据集进行预处理,获取残差图像;其次,使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;然后,通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;最后,通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。本发明专利技术提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升,使变焦后的图像拥有更多的细节和边缘信息。

A digital zoom method based on self supervised residual sensing network

【技术实现步骤摘要】
一种基于自监督残差感知网络的数码变焦方法
本专利技术涉及计算机视觉、数字图像分析、深度学习、机器学习等技术领,具体涉及一种基于自监督残差感知网络的数码变焦方法。
技术介绍
近年来,由新网络结构和大数据进步驱动的深度学习算法在许多人工智能系统中表现出惊人的高性能,例如图像识别和语义分割。深度学习在图像超分领域的应用也十分令人兴奋。在图像超分领域,由于获取成对训练数据(低分辨率图像和对应的高分辨率图像)是比较困难的,所以研究人员在前期的实验中假设超分辨率中的图像退化模型为双三次下采样或者高斯下采样,然后将高分辨率图像通过下采样获得对应的低分率图像作为神经网络的输入,高分辨率图像作为标记来训练神经网络。基于上述基本假设,研究人员在图像处理领域提出了很多模型来尝试解决这个问题。Chao等人首次提出将深度网络应用在图像超分领域。他们提出了一个简单的三层神经网络SRCNN,取得了很棒的表现,不管是在重建效果还是在推断耗时等指标上。在这之后,很多神经网络的改进结构被应用到超分领域。例如Kim等人设计了VDSR,Ledig等人提出将残差块引入到网络结构中。随后,Lim等人提出了一种非常深和宽的网络EDSR,该网络通过叠加修改后的剩余块来实现。显著的性能增益表明表示深度在图像超分中起着关键的作用。其他最近的工作,如RDN,都是基于密集块并利用所有卷积层的所有层次特征。NLRG和RCAN通过在空间和通道维度上考虑特征相关性来提高性能。然而随着研究的进一步深入,研究人员发现基于双三次和高斯下采样训练出来的模型,并不能简单的迁移到真实的环境(光学变焦)中。也就是说在超分领域表现很好的模型在光学变焦中并比一定就能取得很好的表现。这个发现在最近引起了研究人员的广泛关注,Chen等人提出了一个真实成像下的光学变焦数据集,City100,然后从相机镜头的角度研究图像超分,旨在缓解合成退化模型与真实成像系统的差异。Zhang等人提供了一个数据集SR-RAW,它包含原始RAW数据和对应的真实高分辨率图像,用于真实世界的光学变焦,并采用带有上下文双边丢失(CoBi)的SRResNet来训练SR-RAW数据集。此外,CVPR2019的第三届NTIRE挑战也集中在光学变焦的任务上。这个挑战基于RealSR数据集。这个数据集是在不同的室内和室外环境中获得的图像。但是这些工作主要的贡献都集中在提出了一个数据集,然后基于他们提出的数据集研究了光学变焦与传统超分的不同之处:“真实环境中的图像退化模型比假设的双三次或者高斯退化要复杂很多,导致了真实环境下的低分图像中存在很多噪声,使得低分与高分图像相比,丢失了很多重要的信息”,但是这些研究都没有为光学变焦提出一个有效的解决方案。因此本专利的目的是基于超分辨率和光学变焦任务的差异,开发一种适用于光学变焦任务的深度模型。
技术实现思路
专利技术目的:本专利技术提出一种基于自监督残差感知网络的数码变焦方法,使变焦后的图像拥有更多的细节和边缘信息。技术方案:本专利技术所述的一种基于自监督残差感知网络的数码变焦方法,包括以下步骤:(1)对SRRAW数据集进行预处理,获取残差图像;(2)使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。进一步地,所述步骤(2)包括以下步骤:(21)定义边缘增强算子k1和细节增强算子k2为:(22)对于边缘增强卷积,设定步长为1,边缘填充为0;对于细节增强卷积,我们设定补偿为6,边缘填充为0;(23)将低分辨率图像Y定义为该模块的输入,增强后的残差图像R作为标记,用L1范数定义辅助任务的损失来优化辅助任务参数,损失函数定义如下:其中Θ1表示辅助网络的参数,m表示训练集的样本数,yi∈Y表示第i个低分图像,ri∈R表示对应的增强后的残差图像;FRAT(·)表示辅助任务的网络结构。进一步地,步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的特征。进一步地,所述步骤(3)包括以下步骤:(31)双向Top-down融合方式会将辅助网络中语义级别的特征通过加和的方式融合到缩放网络的浅层(F0)中,而辅助网络中浅层的特征融合到缩放网络的语义层(FN)中;(32)多尺度池化操作会将所有的通道分成N组,把平均池化应用到在不同的组中,获得多尺度的空间感知区域:其中,Favg(·)代表平均池化操作,ci表示通道池化的尺度;(33)将所有特征映射旋转四次,然后将所有的特征映射在空间层面连接成一个新的特征:其中FRot(·)表示旋转操作,Rij表示第i个特征映射旋转90×j的角度,表示连接操作;(34)应用卷积层,通过融合局部感受野中的空间和通道信息来构造信息丰富的特征:其中,WD表示卷积层的参数,表示矩阵加法;(35)得到空间注意图α来重新缩放这些特征表示:其中,αi和vi分别表示第i位置的缩放因子和特征映射。进一步地,所述步骤(4)通过以下公式实现:L(Θ1,Θ2)=LRAT(Θ1)+λ·LDFZN(Θ2)其中,Θ2表示深度缩放网络的参数,λ是权衡参数。有益效果:与现有技术相比,本专利技术的有益效果:1、与现有的超分辨率技术相比,本专利技术在不同的指标上都有提升,如PSNR(峰值信噪比),LPIPS(深度感知图像相似性);2、经过本专利技术生成的图片拥有更多的细节和边缘信息;3、本专利技术在性能和计算复杂性上有很好的权衡。附图说明图1为本专利技术流程图;图2为基于自监督残差感知网络的数码变焦模型的框架图;图3为多尺度池化旋转空间注意力模型的框架图;图4为多尺度池化旋转空间注意力算法流程图。具体实施方式数字变焦的主要任务是从低分辨率空间y中恢复高分辨率空间x,这些数据是由不同级别的光学变焦设备采集的,即通过长焦距摄像头采集高分辨RGB图像X和短焦距摄像头采集低分辨率RGB图像Y。此任务的最大挑战是输入输出之间严重的信息丢失。设训练集为s={(x1,y1),(x2,y2),…,(xm,ym)},我们定义其中yi表示第i个低分辨率图像,xi表示对应的低分辨率图像。我们将R=[r1,r2,…,rm]T表示为自监督任务的标签,μ表示为缩放比。通过对数码变焦任务和传统超分任务细致的研究,发现两个任务之间的差异主要体现在输入与输出之间丢失信息的程度。相比于传统超分任务中的合成图像退化模型,真实环境中的图像退化模型会导致输入输出之间非常严重的信息丢失。本专利技术的网络主要包括两部分:深度缩放网络(DFZN)和残差感知的辅助网络(RAT)。在残差感知的辅助本文档来自技高网
...

【技术保护点】
1.一种基于自监督残差感知网络的数码变焦方法,其特征在于,包括以下步骤:/n(1)对SRRAW数据集进行预处理,获取残差图像;/n(2)使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;/n(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;/n(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。/n

【技术特征摘要】
1.一种基于自监督残差感知网络的数码变焦方法,其特征在于,包括以下步骤:
(1)对SRRAW数据集进行预处理,获取残差图像;
(2)使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;
(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;
(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。


2.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法,其特征在于,所述步骤(2)包括以下步骤:
(21)定义边缘增强算子k1和细节增强算子k2为:






(22)对于边缘增强卷积,设定步长为1,边缘填充为0;对于细节增强卷积,我们设定补偿为6,边缘填充为0;
(23)将低分辨率图像Y定义为该模块的输入,增强后的残差图像R作为标记,用L1范数定义辅助任务的损失来优化辅助任务参数,损失函数定义如下:



其中Θ1表示辅助网络的参数,m表示训练集的样本数,yi∈Y表示第i个低分图像,ri∈R表示对应的增强后的残差图像;FRAT(·)表示辅助任务的网络结构。


3.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法,其特征在于,步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的...

【专利技术属性】
技术研发人员:张道强张涛
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1