【技术实现步骤摘要】
本专利技术属于图像去噪，特别涉及一种基于深度学习的图像去噪方法。
技术介绍
1、近年来，随着科技的飞速发展，图像处理技术愈发成熟。现有技术中，由于大量摄像设备在光照不足或遮挡等条件下，抓拍到的图像往往包含着不同程度的噪声。特别在晚上，拍摄者使用各种相机设备抓拍到的图像包含较大的噪声，尤其当环境中光线越暗时，图像的噪声也就越大，导致拍摄者无法使用这些噪声非常大的图像。
2、目前大量的去噪研究方法均基于传统方法，如均值滤波、双边滤波，主成分分析等方法。均值滤波方法需要给定固定步长的模板，然后使用该模板对图像进行滑动并求模板内像素的平均值，最后使用求得的平均值取代模板中心像素值，该方法破坏了图像细节，使得图像模糊。而主成分分析方法要由于均值滤波方法，该方法通过主成分分析提取小波系数的特征，然后利用小波变换估计噪声能量并去除，最后对小波系数逆变换重构图像。这些去噪方法在去噪的同时导致图像细节丢失或图像模糊，另外无法手动控制去噪的程度，这样原始raw图经过isp处理后，噪声很强的区域模糊程度会更高，因此导致图像的质量不是很高。目前，也有大量的去噪研究基于深度学习方法，如dncnn(深度卷积去噪)。
3、然而，这些深度学习方法大多基于rgb图像且通过端到端的网络结构如unet结构，因此，不免有以下问题：
4、1.原始图像经isp处理，图像中包含的原始噪声通过插值和其他操作后，原始的噪声分布被改变，导致后续无法对噪声进行正确建模。
5、2.基于深度学习端到端的构建网络并训练，会导致去噪后的图像变
6、现有技术常用的技术术语：
7、isp:全称为图像信号处理，通过一些方法对摄像设备得到的原始图像进行加工处理，得到质量好的彩色图像。
8、主成分分析：对图像进行矩阵分解，得到图像中包含信息最多的向量或矩阵。
9、unet:深度学习中由下采样和上采样组成的网络结构。
10、多尺度特征：不同宽高的图像。
技术实现思路
1、为了解决上述问题，本申请的目的在于：解决端到端网络去噪后，图像变模糊的问题，另外在raw图像上进行去噪，与基于rgb去噪相比，减少了细节损失且可以手动控制去噪的强度。
2、具体地，本专利技术提供一种基于深度学习的图像去噪方法，所述方法包括基于对抗学习的神经网络，所述网络包括：噪声图像输入，通过生成器输出，生成假的干净图像，与真实干净图像一同输入到鉴别器；所述方法进一步包括以下步骤：
3、s1：基于unet网络结构基础上进行生成器的改进，即将普通的卷积结构替换成密集残差结构，所述密集残差结构由三个不同输出通道数的卷积conv1、conv2、conv3构成，conv1、conv2、conv3设定通道数分别为原输入通道的1/2，3/2，3，卷积核kernel_size均为3；
4、对于所述生成器使用了密集残差块以及空间注意力机制和通道注意力机制相结合的模块提取不同尺度的信息，其中，通道注意力机制模块中sigmoid为激活函数，空间注意力机制模块通过所述通道注意力机制模块输入的特征为f1，则结合后的特征输出为fout，具体如公式：
5、fout＝spatial_block(channel_block(f1))；
6、s2：对于鉴别器，使用了多尺度对抗鉴别网络patchgan；所述网络patchgan结构为：经过每一层的卷积输出被保存用于计算损失，整个流程如式(1)表示，out为网络最终输出：
7、out＝concat(conv1,conv2,conv3,conv4) (1)；
8、s3：构建好生成器和鉴别器后，设定迭代次数为10000，生成器学习率为10-4，鉴别器学习率设为2*10-4；训练时，生成器先迭代一次，接着鉴别器迭代一次，如此循环迭代训练。
9、所述步骤s1中所述密集残差结构进一步包括：原始输入特征图进入conv1,kernel_size＝3并输出记为输出1；其输出1与原始输入特征图进行特征图级联，并输出记为输出2；其输出2，以及其输出2作为输入进入conv2,kernel_size＝3后并输出的记为输出3，以及原始输入特征图作为输入进行特征图级联，并输出记为输出4；其输出4作为输入进入conv3,kernel_size＝3，最终特征图输出。
10、所述步骤s1中所述通道注意力机制模块channel_block进一步包括：经过maxpooling和avepooling，两输入相加，进入conv1,kernel_size＝1，接着进入conv2,kernel_size＝1,接着进行sigmoid激活函数处理，其sigmoid函数输出与输入特征图f1两输入相乘。
11、所述步骤s1中所述空间注意力机制模块spatial_block进一步包括：进入conv1,kernel_size＝1，接着进入conv2,kernel_size＝1，接着进行sigmoid激活函数处理，其sigmoid函数输出与通道注意力机制模块的输出特征图两个输入相乘。
12、所述步骤s2中所述网络结构进一步包括：真实的干净图、生成器生成的假干净图作为模型的输入；进入conv1，并输出记作输出a；输出a输入conv2，并输出记作输出b；输出b输入conv3，并输出记作输出c；输出c conv4，并输出记作输出d；输出a、输出b、输出c、输出d进行特征集合。
13、由此，本申请的优势在于：本申请方法简单，通过本方法在2d去噪过程中，使用了对抗网络进行去模糊处理，经过验证，该方法能够有效地减少去噪后图像模糊，另外，也很好的保留了图像细节。通过残差块、空间通道注意力结合方法，保证了不通卷积层间的信息流动，减少了信息损失。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的图像去噪方法，其特征在于，所述方法包括基于对抗学习的神经网络，所述网络包括：噪声图像输入，通过生成器输出，生成假的干净图像，与真实干净图像一同输入到鉴别器；所述方法进一步包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤S1中所述密集残差结构进一步包括：原始输入特征图进入Conv1,Kernel_size＝3并输出记为输出1；其输出1与原始输入特征图进行特征图级联，并输出记为输出2；其输出2，以及其输出2作为输入进入Conv2,Kernel_size＝3后并输出的记为输出3，以及原始输入特征图作为输入进行特征图级联，并输出记为输出4；其输出4作为输入进入Conv3,Kernel_size＝3，最终特征图输出。
3.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤S1中所述通道注意力机制模块channel_block进一步包括：经过Maxpooling和avepooling，两输入相加，进入Conv1,Kernel_size＝1，接着进入Conv2,Kernel_size
4.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤S1中所述空间注意力机制模块spatial_block进一步包括：进入Conv1,Kernel_size＝1，接着进入Conv2,Kernel_size＝1，接着进行sigmoid激活函数处理，其sigmoid函数的输出与通道注意力机制模块的输出特征图两个输入相乘。
5.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤S2中所述网络结构进一步包括：真实的干净图、生成器生成的假干净图作为模型的输入；进入conv1，并输出记作输出a；输出a输入conv2，并输出记作输出b；输出b输入conv3，并输出记作输出c；输出c conv4，并输出记作输出d；输出a、输出b、输出c、输出d进行特征集合。
...【技术特征摘要】
1.一种基于深度学习的图像去噪方法，其特征在于，所述方法包括基于对抗学习的神经网络，所述网络包括：噪声图像输入，通过生成器输出，生成假的干净图像，与真实干净图像一同输入到鉴别器；所述方法进一步包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤s1中所述密集残差结构进一步包括：原始输入特征图进入conv1,kernel_size＝3并输出记为输出1；其输出1与原始输入特征图进行特征图级联，并输出记为输出2；其输出2，以及其输出2作为输入进入conv2,kernel_size＝3后并输出的记为输出3，以及原始输入特征图作为输入进行特征图级联，并输出记为输出4；其输出4作为输入进入conv3,kernel_size＝3，最终特征图输出。
3.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述步骤s1中所述通道注意力机制模块channel_block进一步包括：经过maxpooling和avepooling，两输入相加...
【专利技术属性】
技术研发人员：方敏，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。