System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于图像识别,具体地涉及一种基于多种群交替进化神经结构搜索的图像识别方法及系统。
技术介绍
1、图像数据集分析是一个全新的跨学科领域,它需要具备计算机视觉以及多领域专业知识,对于计算机视觉或专业领域的初学者来说具有较大难度。尤其是分析具有不同模态的多个数据集,这可能是不友好的,因为数据集通常是非标准的。在此之前,一直是深度学习主导着图像分析的研究和应用,但是不断调整深度学习模型耗费人力财力。因此,解决自动化图像分类变得日益重要。
2、目前采用了自动机器学习的技术路线,用神经结构搜索(neural networksearch, nas)对图像数据集处理,nas是一种使用机器学习技术自动搜索和优化神经网络结构的方法。nas的目标是通过搜索更好的神经网络来提高深度学习模型的效率或性能。在nas中,搜索空间的设计作为一个关键元素,在确定最优化的配置方面发挥着关键的作用。
3、nas的一种策略是探索神经网络中节点和连接的所有可能组合,另一种策略包括将网络划分为基本单元,并通过将这些单元堆叠在一起来构建更复杂的网络。
4、考虑到搜索空间的扩展性,nas的策略方法需要大量的计算资源和时间。第二种策略方法虽然降低了搜索的复杂性,增强了结构的适应性,但是基于单元的堆叠结构损害了网络结构的多样性,并且不能充分考虑整个网络各个部分的特性和限制。当试图增强网络结构的多样性时,似乎不可避免地会产生额外的搜索成本,存在一定的局限性。
5、公告号为cn 109299142 a的专利公开了一种基于进化算
技术实现思路
1、针对上述存在的技术问题,本专利技术的目的是提供一种基于多种群交替进化神经结构搜索的图像识别方法及系统,该方法不仅受益于可扩展的网络结构,而且允许在不产生额外成本的情况下搜索不同的层结构,高效地搜索出优秀的图像识别网络模型进行图像识别。
2、本专利技术的技术方案是:
3、一种基于多种群交替进化神经结构搜索的图像识别方法,包括以下步骤:
4、s01:获取图像数据,根据目标任务确定搜索网络;
5、s02:构建超网,根据预设参数对超网进行预训练;
6、s03:通过神经网络的l层结构将网络结构搜索空间划分为多个子空间,从子空间中随机选取n个候选子网络,形成初始化种群;
7、s04:从多个子空间中采样多个种群进行交替进化,使用多目标环境选择从合并种群选择前沿个体,以生成下一个父代种群,进行多种群的交替进化;
8、s05:得到最优的神经网络模型对图像进行识别。
9、优选的技术方案中,所述步骤s02中构建超网的方法包括:
10、将整个搜索空间池a表示为l层的有向无环图,用公式表示为,其中,表示有向无环图的第l层中的可用操作,搜索空间内的神经网络;
11、神经网络a中的每一层由从k个候选操作中选出的多个操作组成,即,其中,表示操作配置的特定集合且二进制门表示是否选择了第k个运算,中的选定操作数为以及可能的操作组合数为,而l层神经网络中包含的操作总数为。
12、优选的技术方案中,通过均匀采样子网络结构训练来进行超网预训练,超网中的每个子网络结构由表示,子网络结构的权重从超网权重继承而来,超网的权重的优化表示为:
13、<msub><mi>w</mi><mi>s</mi></msub><mi>=arg</mi><mrow><mi>min</mi><msub><mi>e</mi><mrow><msub><mi>s</mi><mi>i</mi></msub><mi>~</mi><msub><mi>u</mi><mi>s</mi></msub></mrow></msub></mrow><mi>[</mi><msub><mi>l</mi><mi>c</mi></msub><mi>(</mi><mi>n</mi><mi>(</mi><msub><mi>s</mi><mi>i</mi></msub><mi>,</mi><msub><mi>w</mi><mi>s</mi></msub><mi>(</mi><msub><mi>s</mi><mi>i</mi></msub><mi>)))]</mi>
14、其中,e[·]表示期望,(·)表示交叉熵损失,表示具有子网络结构和权重的网络,代表子网是从服从均匀分布的超网空间中采样得到;
15、对期望值e[·]的最小化是通过从超网空间对子网络结构进行采样后使用随机梯度下降法更新相应权重来实现的。
16、优选的技术方案中,所述步骤s03中初始化种群中的个体基因编码由一个的矩阵表示,其中代表神经结构中各层的数据节点集, 代表每层网络中数据节点的数量;是描述各层之间数据节点连接的边集,数据节点之间连接的边代表运算操作,矩阵中对应的值代表着数据节点的连接边对应的操作编码值。
17、优选的技术方案中,所述s04中多种群交替进化包括:
18、s41:根据预设的交叉变异参数以及子代生成策略生成当前子代种群
19、s42:将其他种群的优秀个体迁移到当前进化种群得到迁移种群;
20、s43:将父代种群、子代种群和迁移种群合并组成合并种群,将合并种群中的个体先解码成相应子网络结构并继承超网中的权重后在训练数据集上进行微调训练后进行准确度性本文档来自技高网...
【技术保护点】
1.一种基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,所述步骤S02中构建超网的方法包括:
3.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,通过均匀采样子网络结构训练来对超网进行预训练,超网中的每个子网络结构由表示,子网络结构的权重从超网权重继承而来,超网的权重的优化表示为:
4.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,所述步骤S03中初始化种群中的个体基因编码由一个的矩阵表示,其中代表神经结构中各层的数据节点集,M代表每层网络中数据节点的数量;是描述各层之间数据节点连接的边集,数据节点之间连接的边代表运算操作,矩阵中对应的值代表着数据节点的连接边对应的操作编码值。
5.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,子网络结构的微调训练过程即是超网权重更新过程;给定一个多种群,从超网中采样完整的子网络结构的过程是通过从多种
6.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,所述个体与种群的相似度的计算方法包括:
7.一种基于多种群交替进化神经结构搜索的图像识别系统,其特征在于,包括:
8.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现权利要求1-6任一项所述的基于多种群交替进化神经结构搜索的图像识别方法。
...【技术特征摘要】
1.一种基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,所述步骤s02中构建超网的方法包括:
3.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,通过均匀采样子网络结构训练来对超网进行预训练,超网中的每个子网络结构由表示,子网络结构的权重从超网权重继承而来,超网的权重的优化表示为:
4.根据权利要求1所述的基于多种群交替进化神经结构搜索的图像识别方法,其特征在于,所述步骤s03中初始化种群中的个体基因编码由一个的矩阵表示,其中代表神经结构中各层的数据节点集,m代表每层网络中数据节点的数量;是描述各层之间数据节点连接的边集,数据节点之间...
【专利技术属性】
技术研发人员:邹娟,楚涵,夏翌彰,贾丽,刘元,侯章禄,邓琦,梁畅,
申请(专利权)人:湘潭大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。