一种基于SqueezeNet的轻量化卷积神经网络构建方法技术

本发明专利技术涉及深度学习算法设计技术领域，具体涉及一种基于SqueezeNet的轻量化卷积神经网络构建方法，包括：对SqueezeNet模型进行改进，得到Sligh t

【技术实现步骤摘要】
一种基于SqueezeNet的轻量化卷积神经网络构建方法


[0001]本专利技术涉及深度学习算法设计
，尤其涉及一种基于SqueezeNet的轻量化卷积神经网络构建方法。

技术介绍

[0002]近年来，深度学习技术迎来了一个快速发展的时机，在图像识别领域成果显著，深度学习模型层出不穷，然而在随着准确率增长的同时，模型的推理复杂度和运算时间也同样在激增，故业内急需一种能同时实现高准确率和快速运算的深度学习算法，嵌入至硬件设备，以便应用在工业各个领域，推动国家工业发展。
[0003]常规的卷积神经网络往往通过简单的堆叠网络层数来获取较高的模型正确率，例如AlexNet、VGG16Net和GoogleNet等，但这样做会带来复杂的网络与庞大的网络参数量，在小型数据集上易出现过拟合现象，导致模型正确率不增反降。随着网络层数的加深，还会出现严重的梯度消失问题，同时训练过程会消耗大量训练时间，不利于对网络进行优化和后续的硬件部署工作。因此，设计一种参数少、模型小同时精确度高的轻量级卷积神经网络，如何在减少参数与模型复杂度的基础上，提高模型的识别精度，实现更加轻量化卷积神经网络的设计是当前亟待解决的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于SqueezeNet的轻量化卷积神经网络构建方法，能够构建减少参数量和模型复杂度，并提高模型精确度的轻量化卷积神经网络。
[0005]为实现上述目的，本专利技术提供了一种基于SqueezeNet的轻量化卷积神经网络构建方法，包括：r/>[0006]对SqueezeNet模型进行改进，得到Slight
‑
SqueezeNet模型；
[0007]将Instance Normalization实例标准化和Group Normalization组标准化融合，得到IG
‑
module标准化方式；
[0008]将所述IG
‑
module融入所述Slight
‑
SqueezeNet模型中，得到Slight
‑
SqueezeNet
‑
IGN轻量化卷积神经网络。
[0009]其中，所述SqueezeNet模型包括两个卷积层1～2、三个最大池化层1～3、全局平均池化层、八个fire模块1～8和softmax函数激活层，所述卷积层1、所述最大池化层1、所述fire模块1～3、所述最大池化层2、所述fire模块4～7、所述最大池化层3、所述fire模块8、所述全局平均池化层、所述softmax函数激活层依次连接。
[0010]其中，所述fire模块包括压缩层和扩张层，所述压缩层由1x1大小的卷积核组成，所述扩张层包括左分支和右分支，所述左分支由1x1卷积核组成，所述右分支由3x3大小的卷积核组成。
[0011]其中，所述对SqueezeNet模型进行改进具体步骤包括：将SqueezeNet模型的所述卷积层1中的步长参数改为1，将SqueezeNet模型的所述池化层1删除。
[0012]其中，所述将所述IG
‑
module融入所述Slight
‑
SqueezeNet模型中的具体步骤包括：将所述IG
‑
module融入至所述fire模块的所述右分支，将3x3的卷积核进行特征提取后的特征图像作为输入，将特征图分别输入所述InstanceNormalization实例标准化和所述Group Normalization组标准化中，在尽可能多的保持原始特征的前提下，学习到新的特征。
[0013]本专利技术的一种基于SqueezeNet的轻量化卷积神经网络构建方法，通过对SqueezeNet中的网络结构进行改进，实现的减少其模型参数量与降低其模型复杂度的目的，此外，改进后的模型特征提取能力增强，模型的泛化能力也有一定的提升；本专利技术提出了一种即插即用的图像标准化模块(IG
‑
module)，此模型能够在不增加参数量的前提下提升模型的识别精确率，提升模型特征提取能力，此即插即用的小模块能够嵌入到不同的深度学习网络中，具有一定的普适性；本专利技术通过改进SqueezeNet和融合IG
‑
module两种方式成功提出了一种新型的轻量化卷积神经网络(Slight
‑
SqueezeNet
‑
IGN)，在同一任务下，相较于大型卷积神经网络如AlexNet、VGG16等，其能在不增加参数量与模型复杂度的前提下，能够实现识别精确度的提升，具有良好的识别精度与泛化能力，具有更强的实用价值与意义，可以更好的嵌入至硬件设备上，满足工业实际应用。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是SqueezeNet模型的组成以及对其模型进行改进的位置的示意图。
[0016]图2是fire模块的组成示意图。
[0017]图3是标准化模块IG
‑
module的组成示意图。
[0018]图4是融入IG
‑
module的fire模块组成示意图。
[0019]图5是本专利技术的一种基于SqueezeNet的轻量化卷积神经网络构建方法的流程图。
具体实施方式
[0020]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0021]请参阅图1～图5，本专利技术提供一种基于SqueezeNet的轻量化卷积神经网络构建方法，包括：
[0022]S1对SqueezeNet模型进行改进，得到Slight
‑
SqueezeNet模型；
[0023]SqueezeNet模型包括两个卷积层1～2、三个最大池化层1～3、全局平均池化层、八个fire模块1～8和softmax函数激活层，所述卷积层1、所述最大池化层1、所述fire模块1～3、所述最大池化层2、所述fire模块4～7、所述最大池化层3、所述fire模块8、所述全局平均池化层、所述softmax函数激活层依次连接。所述fire模块包括压缩层和扩张层，所述压缩层由1x1大小的卷积核组成，所述扩张层包括左分支和右分支，所述左分支由1x1卷积核组
成，所述右分支由3x3大小的卷积核组成。在使用fire模块的时候，一般会使压缩层卷积核的数目小于扩张层卷积核数目，这样可以极大的减少参数数量并减少特征图的通道数。fire模块的使用可以使得SqueezeNet在显著减少参数量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SqueezeNet的轻量化卷积神经网络构建方法，其特征在于，包括：对SqueezeNet模型进行改进，得到Slight
‑
SqueezeNet模型；将InstanceNormalization实例标准化和GroupNormalization组标准化融合，得到IG
‑
module标准化方式；将所述IG
‑
module融入所述Slight
‑
SqueezeNet模型中，得到Slight
‑
Squeeze Net
‑
IGN轻量化卷积神经网络。2.如权利要求1所述的一种基于SqueezeNet的轻量化卷积神经网络构建方法，其特征在于，所述SqueezeNet模型包括两个卷积层1～2、三个最大池化层1～3、全局平均池化层、八个fire模块1～8和softmax函数激活层，所述卷积层1、所述最大池化层1、所述fire模块1～3、所述最大池化层2、所述fire模块4～7、所述最大池化层3、所述fire模块8、所述全局平均池化层、所述softmax函数激活层依次连接。3.如权利要求2所述的...

【专利技术属性】
技术研发人员：徐猛，吴伟，何伟，刘科言，林文军，徐雅文，向磊，王朋飞，
申请(专利权)人：重庆建设工业集团有限责任公司，
类型：发明
国别省市：