一种基于粒子群算法的深度卷积神经网络架构搜索方法及系统技术方案

本发明专利技术提供一种基于粒子群算法的深度卷积神经网络架构搜索方法，包括以下：构建基于结构块的卷积神经网络架构；构建形状为(2,8,2)的三维数组，将所述卷积神经网络架构编码为粒子；根据粒子在图像验证集上的分类精度计算粒子的适应值，得到粒子个体历史最优解pBest和粒子种群历史最优解gBest；根据粒子个体历史最优解pBest和粒子种群历史最优解gBest，更新粒子群，达到迭代次数后得到最优的卷积神经网络架构。本发明专利技术提供的有益效果是：提出了一种新颖的直接编码策略，将网络架构编码为粒子，利用粒子群算法自动搜索最佳网络架构，实现深度卷积神经网络架构的自动设计。现深度卷积神经网络架构的自动设计。现深度卷积神经网络架构的自动设计。

【技术实现步骤摘要】
一种基于粒子群算法的深度卷积神经网络架构搜索方法及系统


[0001]本专利技术涉及神经网络领域，尤其涉及一种基于粒子群算法的深度卷积神经网络架构搜索方法。

技术介绍

[0002]卷积神经网络作为最重要的深度学习模型之一，由于具有良好的特征提取能力和泛化能力，在图像处理、目标跟踪与检测、自然语言处理、场景分类、人脸识别、音频检索、医疗诊断诸多领域获得了巨大成功。但是人工设计卷积神经网络需要考虑层间的连接方式、网络的深度、卷积计算方式等大量的影响因素，同时需要根据模型的性能不断的调整网络的结构。不仅需要设计者具有丰富的专业知识和领域知识，同时非常依赖设计者的经验，需要耗费大量的训练时间和计算资源评估神经网络的性能。因此人工设计卷积神经网络需要大量的时间、人力和物力。

技术实现思路

[0003]有鉴于此，为了解决现有技术中的不足，本专利技术提出一种基于粒子群算法的深度卷积神经网络架构搜索方法。本专利技术主要解决人工设计的卷积神经网络需要经验丰富的专业人员设计和大量计算及时间的问题。
[0004]首先，构建基于块结构卷积神经网络架构的搜索空间。然后，设计一种新颖的直接编码策略，将网络架构编码为粒子。最后，粒子群算法用做从粒子群中搜索最佳网络架构的搜索策略，其中粒子群算法作为演化算法的一种，是基于种群的全局优化算法，能比梯度下降法搜索到相对全局最优的解。并在两个图像数据集上的进行图像分类实验。
[0005]本专利技术提出的一种基于粒子群算法的深度卷积神经网络架构搜索方法，具体包括以下：
[0006]S101：构建基于结构块的卷积神经网络架构；
[0007]S102：构建形状为(2,8,2)的三维数组，将所述卷积神经网络架构编码为粒子；
[0008]S103：根据粒子在图像验证集上的分类精度计算粒子的适应值，得到粒子个体历史最优解和粒子种群历史最优解；
[0009]S104：根据所述粒子个体历史最优解和粒子种群历史最优解，更新粒子群，并判断是否达到终止条件，若是，则得到最优的卷积神经网络架构，否则跳转至步骤S103。
[0010]本专利技术提供的有益效果是：提出了一种新颖的直接编码策略，将网络架构编码为粒子，利用粒子群算法自动搜索最佳网络架构，实现深度卷积神经网络架构的自动设计。
附图说明
[0011]图1是本专利技术一种基于粒子群算法的深度卷积神经网络架构搜索方法流程图；
[0012]图2是卷积神经网络架构图；.
[0013]图3是卷积神经网络架构的一个实施例；
[0014]图4是本专利技术对一个正常块编码示意图；
[0015]图5是一个元素更新过程示意图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0017]请参考图1，一种基于粒子群算法的深度卷积神经网络架构搜索方法，包括以下：
[0018]S101：构建基于结构块的卷积神经网络架构；
[0019]请参考图2，图2是卷积神经网络架构图；每个卷积神经网络(Network)架构都由3个块(cell)组成，其中有2个正常块(normal cell)和1个降维块(reduction cell)。每一个cell(对应图2中cell k，cell k表示任意一个块)由2个输入节点(input nodes)，4个中间节点(intermediate nodes)和1个输出节点(outputnodes)的有序序列组成。
[0020]两个输入节点(input nodes)分别为前两个块(cell k-1，cell k-2)中的两个输出节点的输出，输出节点的由4个中间节点级联(concat)输出，而每个中间节点的输出由此节点之前的两个任意节点(operation1、operation2)经过运算之和，将每次的运算节点和运算类型视作一个元素，具体的运算类型都放入名为OP的列表中，以便为将卷积神经网络架构编码为粒子做准备。
[0021]为进一步对卷积神经网络架构进行解释说明，请参考图3，图3是卷积神经网络架构的一个实施例；
[0022]图3中，高光谱图像作为输入为第一个块的两个节点的输入，第二块的两个输入节点的输入为高光谱图像和第一个块的输出，第三个块为第一个块的输出和第二个块的输出。上图中展示的是包含2个中间节点的示意图，中间节点0的输入即操作节点可以从S0和S1中任意选择，中间节点1的输入可以从S0、S1和中间节点0中任意选择。
[0023]S102：构建形状为(2,8,2)的三维数组，将所述卷积神经网络架构编码为粒子；
[0024]本专利技术设计了一种编码策略将卷积神经网络架构编码为粒子；编码策略是粒子群初始化的核心。
[0025]关于粒子群算法，也称粒子群优化算法(Particle Swarm Optimization，PSO)。PSO是模拟鸟群随机搜寻食物的捕食行为。在PSO中每个优化问题的潜在解都可以想象成搜索空间的一只鸟，称之为“粒子”。
[0026]粒子主要追随当前的最优粒子在解空间中搜索，PSO初始化为一群随机粒子，然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪2个极值来更新自己:第一个就是粒子本身所找到的历史最优解，这个解称为个体极值；另一个极值是整个种群目前找到的历史最优解，这个极值是全局极值。
[0027]本专利技术实施例中，编码策略具体如下：首先，构建形状为(2，8，2)的数组，
[0028]数组第一维代表卷积神经网络架构两种类型的块，分别为正常块(normal cell)和降维块(reduction cell)；
[0029]数组的第二维表示每个块中的4个中间节点的8个元素；
[0030]数组的第三维由运算类型在OP中所对应的索引和运算的节点组成。
[0031]根据设计的编码策略，进行粒子群的初始化，成功将卷积神经网络架构编码为粒子。
[0032]请参考图4，图4是本专利技术对一个正常块编码示意图。图4中给出OP为
[0033]OP＝
[0034]['none','max_pool_3x3','avg_pool_3x3','skip_connect','sep_conv_3x3','sep_conv_5x5','dil_conv_3x3','dil_conv_5x5][0035]无论是操作的索引和节点的编号都是从0开始的。
[0036]因为两个输入节点和输出节点是固定的，只有4个中间节点的操作是不固定的，实质我们要搜索的就是这4个中间节点的操作类型和操作节点，每个中间节点是2个操作的和，所以根据4中间节点的顺序，就编码为8个操作。
[0037]例如图4所示，操作[2,1]和[4,0]是中间节点0的两个操作，[2,1]对应到OP中是使用'avg_pool_3x1'对输入节点1操作，[4,0]对应到OP中是使用'sep_conv_3x3'对0节点进行操作。
[0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：具体包括以下步骤：S101：构建基于结构块的卷积神经网络架构；S102：构建形状为(2,8,2)的三维数组，将所述卷积神经网络架构编码为粒子；S103：根据粒子在图像验证集上的分类精度计算粒子的适应值，得到粒子个体历史最优解pBest和粒子种群历史最优解gBest；S104：根据粒子个体历史最优解pBest和粒子种群历史最优解gBest，更新粒子群，并判断是否达到终止条件，若是，则得到最优的卷积神经网络架构，否则跳转至步骤S103。2.如权利要求1所述的基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：所述基于结构块的卷积神经网络架构，由三个块组成，包括两个正常块和一个降维块。3.如权利要求2所述的基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：每个块由两个输入节点、四个中间节点、一个输出节点的有序序列组成。4.如权利要求3所述的基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：所述两个输入节点的输入分别为当前块的前一个块、前二个块输出节点的输出；每个中间节点的输出由该中间节点之前的任意两个节点经过运算之和的输出；所述输出节点的输出为四个中间节点的级联输出。5.如权利要求4所述的基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：步骤S102中，所述形状为(2,8,2)的三维数组，具体含义为：三维数组的第一维，表示2种块，分别为正常块和降维块；三维数组的第二维，表示每个块中，四个中间节点对应的8个元素，每个元素在数组中具有索引；每个所述元素，由对应中间节点输出过程中运算节点和运算节点之间的运算类型共同构成；所述运算类型存放于运算操作OP列表中。三维数组的第三维，表示运算类型在OP列表中的索引和对应的运算节点。6.如权利要求5所述的基于粒子群算法的深度卷积神经网络架构搜索方法，其特征在于：步骤S104更新粒子群时，策略为基于粒子中的...

【专利技术属性】
技术研发人员：张超超，刘小波，杨健峰，周志浪，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：