一种基于多项式分布学习的神经网络结构检索方法技术

一种基于多项式分布学习的神经网络结构检索方法，涉及神经架构搜索。1)给定标好的图像‑标签对集合，将图像‑标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；2)在搜索空间中，对可能的网络结构进行采样；3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；4)记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；5)计算出操作之间采样次数的差分以及精度之间的差分；6)用步骤5)中计算好的差分，对步骤2)中定义的概率进行更新；7)循环步骤3)～6)直至达到固定的训练次数。适用于比较大的数据集，高效而又准确。

A neural network structure retrieval method based on polynomial distribution learning

【技术实现步骤摘要】
一种基于多项式分布学习的神经网络结构检索方法
本专利技术涉及神经架构搜索，尤其是涉及一种基于多项式分布学习的神经网络结构检索方法。
技术介绍
近年来，随着人工智能以及深度学习的发展，人们对于定制化的深度学习网络结构开始出现指数级别的增长。用户更多的希望深度学习对于当前自身的任务，产生定制化的网络结构以及参数，这就引导了神经网络结构检索系统的产生。给定数据集，神经架构搜索(NAS)旨在通过搜索算法在巨大的搜索空间中发现高性能卷积架构。NAS在各种深度学习任务的自动化架构搜索中取得了很大成功，例如图像分类，语言建模和语义分割。如[1](T.DeVriesandG.W.Taylor.Improvedregularizationofconvolutionalneuralnetworkswithcutout.arXivpreprintarXiv:1708.04552,2017.)中所述，神经架构搜索方法由三部分组成：搜索空间、搜索策略和性能评估。传统的NAS算法通过搜索策略对特定的卷积架构进行采样并估计性能，同时，性能可以被视为更新搜索策略的目标函数。尽管取得了显着进步，但传统的神经网络结构搜索方法仍然受到密集计算和内存成本的限制。例如，基于强化学习方法[2](B.Zoph,V.Vasudevan,J.Shlens,andQ.V.Le.Learningtransferablearchitecturesforscalableimagerecognition.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,pages8697–8710,2018.)需要在4天内训练并评估在500个GPU中超过20,000个神经网络。最近的工作通过以可微分的方式制来提高可扩展性，其中搜索空间被放宽到连续的空间，从而可以通过梯度下降的验证集上的性能来优化体系结构。然而，可区分神经网络结构搜索仍然受到高GPU内存消耗的影响，其随着候选搜索集的大小线性增长。
技术实现思路
本专利技术的目的在于提供一种基于多项式分布学习的神经网络结构检索方法。本专利技术包括以下步骤：1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；2)在搜索空间中，对可能的网络结构进行采样，定义每一个操作的采样概率；网络结构根据不同的尺度区分为网络、细胞、节点；3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；4)训练后，记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度，计算出操作之间采样次数的差分以及精度之间的差分；6)用步骤5)中计算好的差分，对步骤2)中定义的采样概率进行更新；7)循环步骤3)～6)直至达到固定的训练次数。在步骤2)中，所述网络结构指的是整个网络拓扑结构；不同数量的细胞通过线形堆叠，组成了不同的网络结构，其中细胞主要分为下采样细胞和普通细胞；所述普通细胞的输入输出的宽度、高度以及深度保持一致，所述下采样细胞的宽度高度减半、深度翻倍；细胞由节点组成，每一个细胞中的节点之间保持一定顺序的无环的全连接拓扑图；所述节点主要分为输入节点、输出节点以及中间节点，每一个节点存储了神经网络中间特征图，其中节点之间的连线为具体的操作；神经网络搜索主要确定两个节点之间，需要进行哪一种操作选取；假设任意两个节点i,j之间，定义每一个操作的采样概率为：其中，N为操作的数量，也就是说，对每一个操作进行均匀采样。在步骤4)中，所述记录，对于两个节点之间的操作空间而言，假设操作空间中包含N个可能的操作，每一个操作被采样的次数与每一个操作在验证集合上的精度为一个N维度的向量。在步骤5)中，所述计算出操作之间采样次数的差分如下式：精度之间的差分如下式：其中，N为操作的数量。在步骤6)中，所述更新的具体方法可为：当两个操作相比的时候，其中一个操作有更小的被采样次数，并且精度更高，提升该操作被采样的概率，反之，当一个操作有更大的被采样次数，并且精度更低，降低该操作被采样的概率，公式表达为：其中，为指示函数，当输入为真时，返回1，其余则返回0。本专利技术提出的方法中主要包含一种基于分布式学习的快速神经网络结构搜索方法。首先，提出了全新的网络搜索框架。其次，为了更好的训练，提出了一种基于分布式学习算法，该算法在训练的速度以及精度上，都达到了最优。更为巧妙的是，上面提出的两种方法可以互相增强。与现有方法相比，本专利技术具有以下突出优点：第一，本专利技术明确引入分布学习算法的思想，因此能在一定程度上解决神经网络结构检索难以训练的问题。第二，本专利技术提出了一种全新的神经网络搜索框架，因此进行高效而又准确的进行神经网络结构检索。第三，本专利技术可以适用于比较大的数据集，在速度以及精度上，皆达到了最优。附图说明图1为本专利技术给予中心排序损失及弱监督物体定位的流程图。具体实施方式本专利技术基于多项式分布学习的神经网络结构检索。以下结合附图对本专利技术作进一步的说明。参见图1，本专利技术实施例步骤如下：步骤1给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；步骤2在搜索空间中，对可能的网络结构进行采样；网络结构根据不同的尺度，我们可以区分为网络，细胞，节点。其中网络指的是整个网络拓扑结构。不同数量的细胞通过线形堆叠，组成了不同的网络结构，其中细胞主要分为下采样细胞以及普通细胞。普通细胞的输入输出的宽度，高度，以及深度保持一致，而下采样细胞的宽度高度减半，深度翻倍。细胞为节点之间的全连接拓扑图。节点主要分为输入节点，输出节点，以及中间节点，每一个节点存储了神经网络中间特征图，其中节点之间的连线为具体的操作。神经网络搜索主要确定两个节点之间，需要进行哪一种操作选取。我们假设任意两个节点i,j之间，每一个操作的采样概率为：其中，N为操作的数量，也就是说，对每一个操作进行均匀采样。步骤3当步骤2)进行采样之后，我们利用步骤1)中的图像标签对，对采样的到的神经网络结构进行训练；步骤4步骤3)对神经网络进行训练之后，记录在验证集合上面的精度。进行记录，主要记录两个信息，第一个为每一个操作被采样的次数以及每一个操作在验证集合上面的精度对于两个节点之间的操作空间而言，假设操作空间中包含N个可能的操作，与为一个N维度的向量。步骤5根据步骤4)的到的每一个操作的采样次数以及精度，我们计算出操作之间采样次数的差分以及精度之间的差分其中，N在步骤4)中给出了定义，为操作的数量。步骤本文档来自技高网...

【技术保护点】
1.一种基于多项式分布学习的神经网络结构检索方法，其特征在于包括以下步骤：/n1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；/n2)在搜索空间中，对可能的网络结构进行采样，定义每一个操作的采样概率；网络结构根据不同的尺度区分为网络、细胞、节点；/n3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；/n4)训练后，记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；/n5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度，计算出操作之间采样次数的差分以及精度之间的差分；/n6)用步骤5)中计算好的差分，对步骤2)中定义的采样概率进行更新；/n7)循环步骤3)～6)直至达到固定的训练次数。/n

【技术特征摘要】
1.一种基于多项式分布学习的神经网络结构检索方法，其特征在于包括以下步骤：
1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；
2)在搜索空间中，对可能的网络结构进行采样，定义每一个操作的采样概率；网络结构根据不同的尺度区分为网络、细胞、节点；
3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；
4)训练后，记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；
5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度，计算出操作之间采样次数的差分以及精度之间的差分；
6)用步骤5)中计算好的差分，对步骤2)中定义的采样概率进行更新；
7)循环步骤3)～6)直至达到固定的训练次数。


2.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法，其特征在于在步骤2)中，所述网络结构指的是整个网络拓扑结构；不同数量的细胞通过线形堆叠，组成了不同的网络结构，其中细胞主要分为下采样细胞和普通细胞；所述普通细胞的输入输出的宽度、高度以及深度保持一致，所述下采样细胞的宽度高度减半、深度翻倍；细胞由节点组成，每一个细胞中的节点之间保持一定顺序的无环的全连接拓扑图；所述节点主要分为输入节点、输出节点以...

【专利技术属性】
技术研发人员：纪荣嵘，郑侠武，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35