一种用于提升泛化能力的通用型深度卷积神经网络构建方法技术

本发明专利技术一种用于提升泛化能力的通用型深度卷积神经网络构建方法，包括以下步骤：根据不同视觉处理的任务，选取对应的数据集，并将数据集划分为训练集和测试集；将训练集和测试集进行预处理；构建的提升泛化能力的通用型深度卷积神经网络；将预处理的训练集数据输入到所构建通用型深度卷积神经网络中，进行多尺度提取和重建，获得实际输出图像；对构建通用型深度卷积神经网络进行训练；预处理的测试集数据输入到训练好的通用型深度卷积神经网络模型，实现图片不同低级计算机视觉任务处理。该方法通过构建通用型深度卷积神经网络结构，可以应用于各种不同的低级计算机视觉任务中。以应用于各种不同的低级计算机视觉任务中。以应用于各种不同的低级计算机视觉任务中。

【技术实现步骤摘要】
一种用于提升泛化能力的通用型深度卷积神经网络构建方法


[0001]本专利技术属于人工智能领域，涉及一种用于提升泛化能力的通用型深度卷积神经网络构建方法。

技术介绍

[0002]深度卷积神经网络(Deep Convolutional Neural Network，简称DCNN)是一种可以用于各种不同计算机视觉任务的人工神经网络，其设计灵感来自于生物学上的视觉处理系统，通过多个卷积层、激活函数、池化层和全连接层之间的复杂构造操作，可以逐步地提取出图像中的特征信息，并进行高级别的抽象和分类。
[0003]随着网络深度的增加，深度卷积神经网络可以逐渐提取出越来越抽象的特征，因此可以更好地处理复杂的计算机视觉任务。然而，深度卷积神经网络在在泛化能力方面仍然存在不足，这是因为网络层数的加深会使得有效特征在网络中的传递效率降低，且容易产生特征信息丢失；此外，网络层数的加深还会使网络在训练过程中容易出现梯度消失或爆炸的现象。因此，现阶段很难有一种通用型的深度卷积神经网络模型应用于不同的低级计算机视觉任务中。
[0004]当前，深度卷积神经网络在各种计算机视觉任务中都有着非常优越的性能表现，然而现有的深度卷积神经网络在泛化能力方面仍然存在不足，这主要体现在如下两个方面：
[0005](1)随着网络层数的加深，图像中的有效特征在网络中的传递效率降低，且容易产生特征信息丢失；
[0006](2)随着网络层数的加深，网络在训练过程中容易出现梯度消失或爆炸的现象，使得训练过程难以收敛或无法训练出正确的参数。r/>[0007]上述原因均会影响深度卷积神经网络的泛化能力，使得同一种网络难以应用到不同的低级视觉任务中。

技术实现思路

[0008]为了解决上述问题，本专利技术提供本专利技术采用的技术方案是：
[0009]一种用于提升泛化能力的通用型深度卷积神经网络构建方法，包括以下步骤：
[0010]根据不同视觉处理的任务，选取对应的数据集，并将数据集划分为训练集和测试集；
[0011]将训练集和测试集进行预处理；
[0012]构建的提升泛化能力的通用型深度卷积神经网络；
[0013]将预处理的训练集数据输入到所构建通用型深度卷积神经网络中，进行多尺度提取和重建，获得实际输出图像；对构建通用型深度卷积神经网络进行训练；
[0014]预处理的测试集数据输入到训练好的通用型深度卷积神经网络模型，实现图片不同低级计算机视觉任务处理。
[0015]进一步地：通用型深度卷积神经网络体包含编码器部分与解码器部分；
[0016]所述编码器部分包含4个特征提取模块；所述解码器部分包含4个特征重建模块；
[0017]所述特征提取模块之间采用抽值下采样策略；
[0018]所述特征重建模块之间采用插值上采样策略；
[0019]对称的特征提取模块与特征重建模块之间跳跃连接机制进行连接。
[0020]进一步地：所述特征提取模块包含一个衔接层归一化的7
×
7卷积层，以及两个衔接ReLU激活函数的3
×
3卷积层，并通过残差将第一个卷积层的输入特征引入到最后一个卷积层的输出部分。
[0021]进一步地：所述特征重建模块包括3个3
×
3卷积层，且每个卷积层后面衔接层归一化以及ReLU激活函数，并通过残差将第1个3
×
3卷积层的输入特征引入到第2个3
×
3卷积层的输出部分，将第1个3
×
3卷积层的输出特征引入到第3个3
×
3卷积层的输出部分。
[0022]进一步地：所述抽值下采样策略通过固定间隔抽取特征值组成新的特征图，从而使得在特征图尺寸减小的同时，特征图通道数增加；
[0023]在下采样过程中，特征图尺寸变化公式为：
[0024](C,H,W)
→
(r2*C,H/r,W/r)
[0025]其中，C为特征图数量，H,W分别为特征图的高和宽，r表示固定的抽值间隔，即下采样倍数。
[0026]进一步地：所述插值上采样策略通过固定间隔插入特征值组成新的特征图，从而使得在特征图尺寸增大的同时，特征图通道数减小；
[0027]所述插值上采样策略，在输入特征图使用常规上采样后，先对输出特征图边缘补零，再进行特征图移动、求均值融合，最后将边缘补充去掉。在特征图尺寸增大的同时，特征图通道数减少，在上采样过程中，特征图尺寸变化公式为：
[0028](C,H,W)
→
(C/r2,H*r,W*r)
[0029]其中，C为特征图数量，H,W分别为特征图的高和宽，r表示上采样倍数。
[0030]进一步地：还包括：在跳跃连接机制中引入通道注意力机制，包括如下步骤：
[0031]1)将输入特征图进行全局平均池化，进而获得尺寸大小为1
×1×
C的特征向量；
[0032]2)将所得到的特征向量输入到两个全连接层，第一个全连接层使特征向量的通道数扩大2倍，第二个全连接层再使其缩小2倍，即恢复原通道数；
[0033]3)最后经过Sigmoid函数，并与原始的输入特征图进行逐通道相乘。
[0034]4)将得到的输出与所引到的特征重建模块输出相加。
[0035]进一步地：所述不同低级计算机视觉任务处理包括但不限于图像增强、图像去噪、图像去雾、图像超分辨等。
[0036]本专利技术提供的一种用于提升泛化能力的通用型深度卷积神经网络构建方法，具有以下优点：
[0037]通过构建通用型深度卷积神经网络结构，可以应用于各种不同的低级计算机视觉任务中；
[0038]所构建的编码器，能够高效提取特征并有效抑制深度卷积神经网络的信息丢失现象，同时防止网络在训练过程中可能出现的梯度消失或爆炸；
[0039]所构建的解码器，能够最大程度地保留输入特征，在进行特征重建时避免信息丢
失，并能够增加各层之间的非线性关系，进一步防止出现梯度消失或爆炸；
[0040]所设计的一种抽值下采样策略，能够在实现特征图下采样的同时保留特征信息，避免特征信息丢失；
[0041]所设计的一种插值上采样策略，能够保证实现上采样的同时保证特征信息不会出现位置偏差，有利用图像细节恢复。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本专利技术的网络训练与测试流程图；
[0044]图2为本专利技术所构建的编
‑
解码器结构图；
[0045]图3为本专利技术所构建的特征提取模块与特征重建模块结构图；
[0046]图4为本专利技术所设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提升泛化能力的通用型深度卷积神经网络构建方法，其特征在于：包括以下步骤：根据不同视觉处理的任务，选取对应的数据集，并将数据集划分为训练集和测试集；将训练集和测试集进行预处理；构建的提升泛化能力的通用型深度卷积神经网络；将预处理的训练集数据输入到所构建通用型深度卷积神经网络中，进行多尺度提取和重建，获得实际输出图像；对构建通用型深度卷积神经网络进行训练；预处理的测试集数据输入到训练好的通用型深度卷积神经网络模型，实现图片不同低级计算机视觉任务处理。2.根据权利要求1所述一种用于提升泛化能力的通用型深度卷积神经网络构建方法，其特征在于：通用型深度卷积神经网络体包含编码器部分与解码器部分；所述编码器部分包含4个特征提取模块；所述解码器部分包含4个特征重建模块；所述特征提取模块之间采用抽值下采样策略；所述特征重建模块之间采用插值上采样策略；对称的特征提取模块与特征重建模块之间跳跃连接机制进行连接。3.根据权利要求2所述一种用于提升泛化能力的通用型深度卷积神经网络构建方法，其特征在于：所述特征提取模块包含一个衔接层归一化的7
×
7卷积层，以及两个衔接ReLU激活函数的3
×
3卷积层，并通过残差将第一个卷积层的输入特征引入到最后一个卷积层的输出部分。4.根据权利要求2所述一种用于提升泛化能力的通用型深度卷积神经网络构建方法，其特征在于：所述特征重建模块包括3个3
×
3卷积层，且每个卷积层后面衔接层归一化以及ReLU激活函数，并通过残差将第1个3
×
3卷积层的输入特征引入到第2个3
×
3卷积层的输出部分，将第1个3
×
3卷积层的输出特征引入到第3个3
×
3卷积层的输出部分。5.根据权利要求2所述...

【专利技术属性】
技术研发人员：纪勋，王旭，郝立颖，王靖淇，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：