一种图像去噪神经网络训练方法技术

本发明专利技术公开了一种图像去噪神经网络训练方法，在利用图像去噪数据集对图像去噪神经网络进行模型训练，对每一层卷积网络输出特征图参数进行归一化处理时，对于特征图的每个批量，按通道数C将像素分成X组，在每个组中间隔M个通道进行采样，然后对采样的不同通道的像素求均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。本发明专利技术计算在批量维度的方差和均值，以此来进行归一化，并进行间隔通道采样计算，由于批量维度N的数值固定，在归一化计算过程中，计算与批量大小无关，因此能够在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响，具有出色的表现。具有出色的表现。具有出色的表现。

【技术实现步骤摘要】
一种图像去噪神经网络训练方法


[0001]本专利技术涉及神经网络领域，具体涉及一种神经网络训练方法。

技术介绍

[0002]数字图像在数字化和传输过程中，常常受到成像设备与外部环境噪声干扰等影响， 引入了不同类型的复杂噪声。图像的去噪任务要求在尽可能去除图像中噪声的同时，还应保持原有图像的边缘、纹理等细节结构信息。
[0003]现有技术中，使用卷积通过端到端的残差学习，从函数回归角度用卷积神经网络将噪声从噪声图像中分离出来，取得了显著优于其他方法的去噪结果。
[0004]由于去噪神经网络在训练过程中涉及到不同网络层的融合和叠加，不同层的参数进行融合之后参数会不可避免的发生改变，使得下一层的输入数据变化范围非常大，因此越往后面的层参数分布变化会越剧烈。虽然在神经网络内部每一层的输入数据分布不同，但是最终的样本标记是固定不变的，也就是说边缘概率不同而条件概率相同。因此，在深度学习领域中，在数据处理和分析之前，为了减小参数变化的影响，通常必不可少的一步是要将数据进行收敛，而收敛的途径主要为将每一层网络的参数进行归一化处理，把数据的变化范围映射到一个区间内。
[0005]目前，在深度学习去噪领域常用的是批处理归一化(Batch Normalization，BN)方法，批处理归一化方法适用于各种网络进行训练。然而，沿着批量尺寸进行归一化会带来问题，当批量尺寸(batch size)变小时，BN的误差会迅速增加，这是由于批量统计量估计不准确造成的。这限制了BN用于训练更大的模型，并将特征转移到包括检测、分割和视频在内的计算机视觉任务中，这些任务需要受内存消耗限制的小批量。
[0006]在去噪任务中，batch size的限制要求更高，包括检测、分割、识别等建立在它们之上的高级系统。例如，Faster和Mask R
‑
CNN框架仅使用1或2张图像的批量大小，因为更高的分辨率在使用3D卷积的视频分类中，时空特征的存在引入了时间长度和批处理大小之间的权衡。BN的使用通常要求这些系统在模型设计和批量大小之间妥协。但是BN存在以下两个问题：（1）每次是在一个批量(batch)上计算均值和方差，如果batch size太小，则计算的均值和方差不足以代表整个数据分布。
[0007]（2）如果batch size太大，则会超过硬件的内存容量，需要跑更多的训练次数，导致总训练时间变长；且会直接固定梯度下降的方向，导致神经网络很难更新。

技术实现思路

[0008]专利技术目的：针对上述现有技术，提出一种图像去噪神经网络训练方法，在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响。
[0009]技术方案：一种图像去噪神经网络训练方法，包括：步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增
强处理；步骤2：利用步骤1得到的图像去噪数据集对图像去噪神经网络进行模型训练，在训练的过程中，每一层卷积网络在经过卷积核卷积之后，对输出的特征图参数进行归一化处理；其中，对参数进行归一化处理包括：对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；对于每个组，对采样的不同通道的像素求均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。
[0010]进一步的，计算均值和标准差的公式如下：的公式如下：其中，为包含四个维度的特征图，四个维度分别为批量、宽度、高度、通道；W为特征图的宽度，H为特征图的高度，h为高度维度起始位置，w为宽度维度起始位置。
[0011]进一步的，X取2~8之间的自然数，M取2或4。
[0012]有益效果：本专利技术在训练图像去噪神经网络时，对各卷积层输出的特征图，计算在批量维度的方差和均值，以此来进行归一化，并进行间隔通道采样计算，由于批量维度N的数值固定，在归一化计算过程中，计算与批量大小无关，因此能够在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响，具有出色的表现。
附图说明
[0013]图1为批处理归一化方法的数据结构示意图；图2为本专利技术方法中归一化方法的数据结构示意图；图3为本专利技术方法中归一化方法和批处理归一化方法的错误率对比图。
具体实施方式
[0014]下面结合附图对本专利技术做更进一步的解释。
[0015]一种图像去噪神经网络训练方法，包括如下步骤：步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增强处理。具体的，本实施例使用Sony相机来采集视频数据，包含静态室内场景以及动态室外场景，Raw格式的数据分辨率为3672*5496，数据集大部分亮度都在0.5lux ~ 5lux之间，再将图像大小统一成512*512，并做数据增强操作。
[0016]步骤2：利用步骤1得到的图像去噪数据集中的500张训练图像对图像去噪神经网络进行模型训练。在训练的过程中，输入512*512大小的有噪声图像，设置学习率为1e
‑
3，每一层卷积网络在经过3x3大小的卷积核卷积之后，对输出的特征图参数进行归一化处理。其
中，特征图包含四个维度，分别为批量N、宽度W、高度H、通道C。
[0017]对参数进行归一化处理包括：对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；对于每个组，对采样的不同通道的像素求均值和标准差，每组求出唯一一个均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。
[0018]计算均值和标准差的公式如下：的公式如下：其中，为包含四个维度的特征图，W为特征图的宽度，H为特征图的高度，h为高度维度起始位置，w为宽度维度起始位置。
[0019]为了在效果和计算量上取得权衡，X取2~8之间的自然数，M取2或4。本实施例中设置M=2，X=8，将训练好的去噪网络模型提取出来，并使用去噪模型对50张验证图像进行测试。统计50张图像的平均信噪比及平均运算时间： 批处理归一化方法得到的模型本专利技术方法得到的模型平均信噪比/dB26.4728.92平均处理时间/s0.2970.151由上表可得知，在相同条件下，使用本专利技术方法训练的模型处理50张有噪声图像的效果优于采用批处理归一化方法训练的模型，且运算时间也少于采用批处理归一化方法训练的模型。结合图3可以看出，当批量为2或4的时候，测试模型的错误率也远远小于采用批处理归一化方法训练的模型的错误率，证明了本方法在神经网络训练过程中可以忽略样本批量大小带来的影响。
[0020]以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去噪神经网络训练方法，其特征在于，包括：步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增强处理；步骤2：利用步骤1得到的图像去噪数据集对图像去噪神经网络进行模型训练，在训练的过程中，每一层卷积网络在经过卷积核卷积之后，对输出的特征图参数进行归一化处理；其中，对参数进行归一化处理包括：对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；对于每个组，对...

【专利技术属性】
技术研发人员：齐政，王彬，徐凯，赵佳佳，王中杰，
申请(专利权)人：江苏游隼微电子有限公司，
类型：发明
国别省市：