基于结构化数据的深度学习架构搜索方法技术

基于结构化数据的深度学习架构搜索方法，属于人工智能技术领域，本发明专利技术为解决现有结构化数据的架构搜索方法的搜索空间不足、前置信息易丢失的问题。它包括：采用递归神经网络生成编码，根据编码确定唯一的深度神经网络模型；在结构化数据集上训练深度神经网络模型；根据训练结果，更新递归神经网络；采用深度神经网络模型对搜索空间进行搜索，采用蒙特卡洛策略梯度更新搜索策略，获得最优架构。本发明专利技术用于深度学习的架构搜索。用于深度学习的架构搜索。用于深度学习的架构搜索。

【技术实现步骤摘要】
基于结构化数据的深度学习架构搜索方法


[0001]本专利技术涉及一种基于结构化数据的深度学习架构搜索方法，属于人工智能


技术介绍

[0002]深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于人工智能。深度学习技术在近几年取得了显著的突破，目前已经被广泛应用于图像识别、语音识别和机器翻译等多个领域。在不同的领域中，深度学习所需要应对的数据也是截然不同的，例如，在图像领域，数据通常是图片或视频；在语音识别领域，数据通常是一段音频；而在机器翻译领域，数据通常是一段自然语言的文本。除此之外，还有一种被广泛使用的数据——结构化数据。结构化数据也被称为行数据，由二维表格来进行表达和实现，通过关系型数据库进行存储和管理。
[0003]不同的数据种类有着不同的深度学习模型来处理。例如，对于图像视频等数据，通常使用卷积神经网络来处理；对于自然语言或语音音频等数据，通常使用递归神经网络来处理；而对于结构化数据，则通常采用深度神经网络来处理。深度神经网络是在输入层和输出层之间有多个隐藏层的人工神经网络，能够将输入数据通过线性或非线性的关系，变换到输出结果。
[0004]深度神经网络有着许多的超参需要人为设定，例如每层的节点数、每层所采用的激活函数，以及为了避免过拟合而采用的Dropout函数等。另外，在处理大规模数据时，随着节点数以及层数的增加，模型更加复杂，需要训练的参数会非常多，这会导致训练时间变长和容易过拟合等问题。因此，需要大量的人力和时间进行参数的调整和测试。
[0005]现在的深度神经网络主要依靠领域内专家对数据以及神经网络的观察，在设计网络结构的时候要花费大量的时间，且最终的效果也深受专家的专业知识及能力的影响。因此，有必要寻找一种方法，使其能够自动搜索到合适的网络架构，方便没有专业知识的人也能使用最好的神经网络。
[0006]目前，架构搜索的研究主要是针对卷积神经网络，数据集是图像分类数据。卷积神经网络和深度神经网络有着截然不同的结构。卷积神经网络的搜索空间较小，因为每一层通常都在选择卷积层或池化层，卷积层通常有1
×
1，3
×
3，5
×
5等，而池化层通常是最大池化或平均池化等。在这种有限的搜索空间中，可以使用例如Q
‑
Learning的强化学习算法(Q
‑
Learning是强化学习算法中值迭代的算法)进行学习。但对于深度神经网络，由于每一层的节点数最少几个，最多上千个，选择非常多，使用Q
‑
Learning这一类算法无法做到对搜索空间的充分的探索。另外，卷积神经网络通常不关注激活函数的选择，而结构化数据则需要为每一层特别指定激活函数。

技术实现思路

[0007]本专利技术目的是为了解决现有结构化数据的架构搜索方法的搜索空间不足、前置信
息易丢失的问题，提供了一种基于结构化数据的深度学习架构搜索方法。
[0008]本专利技术所述基于结构化数据的深度学习架构搜索方法，该搜索方法包括：
[0009]S1、采用递归神经网络生成编码，根据编码确定唯一的深度神经网络模型；
[0010]S2、在结构化数据集上训练深度神经网络模型；
[0011]S3、根据训练结果，更新递归神经网络；
[0012]S4、采用深度神经网络模型对搜索空间进行搜索，采用蒙特卡洛策略梯度更新搜索策略，获得最优架构。
[0013]优选的，S1所述采用递归神经网络生成编码的具体方法为：
[0014]递归神经网络模型由两个长短记忆单元构成，两个长短记忆单元通过全连接层生成N维向量；
[0015]采用ε
‑
贪心的方法获取每层神经网络的神经单元数量，以神经单元数量作为深度神经网络模型的编码。
[0016]优选的，所述两个长短记忆单元通过全连接层生成N维向量采用的激活函数是归一化指数函数。
[0017]优选的，所述N维向量是对标签的独热编码分类的预测。
[0018]优选的，所述标签是每层神经网络的最优单元数量。
[0019]优选的，所述编码格式为：
[0020]{10,relu,8,sigmoid,5,softmax}；
[0021]其中，10、8、5表示神经单元数量，relu、sigmoid、softmax均表示激活函数。
[0022]优选的，所述激活函数的选择方法为：
[0023]ε
‑
贪心的结果作为下一次迭代的输入，获得展开后的递归神经网络模型；
[0024]递归神经网络模型每展开两次产生一个隐藏层；
[0025]根据第二次展开的输出确定激活函数的类型。
[0026]优选的，S1所述根据编码确定深度神经网络模型包括：
[0027]ε
‑
贪心的结果作为下一次迭代的输入，获得展开后的递归神经网络模型；
[0028]递归神经网络每展开一次，在深度神经网络中增加一个新的隐藏层，最终生成深度神经网络模型。
[0029]优选的，所述递归神经网络将t
‑
1时刻的输出向量直接传递给t时刻的输出向量。
[0030]优选的，所述递归神经网络在首次展开时，递归神经网络的输入置为单位向量。
[0031]本专利技术的优点：
[0032]1、本专利技术提出了一种基于递归神经网络和Policy Gradient(策略梯度)的结构化数据深度学习架构搜索方法，能够根据给定数据集搜索到合适的神经网络架构。
[0033]2、本专利技术提出的结构搜索方法能够在测试中不断学习，根据学习的经验获取最优的神经网络架构，以构建最优的搜索平台。
[0034]3、采用递归神经网络，扩展了搜索空间，能够解决现有搜索方法中搜索空间不足的问题，并且能够将信息存储在记忆单元中，还能够保留多次展开的过程，解决了现有技术中存在的前置信息易丢失的问题。
附图说明
[0035]图1是本专利技术所述生成的深度神经网络模型结构示意图；
[0036]图2是本专利技术所述生成的带有激活函数的深度神经网络模型结构示意图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0039]下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。
[0040]具体实施方式一：下面结合图1说明本实施方式，本实施方式所述基于结构化数据的深度学习架构搜索方法，该搜索方法包括：
[0041]S1、采用递归神经网络生成编码，根据编码确定唯一的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于结构化数据的深度学习架构搜索方法，其特征在于，该搜索方法包括：S1、采用递归神经网络生成编码，根据编码确定唯一的深度神经网络模型；S2、在结构化数据集上训练深度神经网络模型；S3、根据训练结果，更新递归神经网络；S4、采用深度神经网络模型对搜索空间进行搜索，采用蒙特卡洛策略梯度更新搜索策略，获得最优架构。2.根据权利要求1所述的基于结构化数据的深度学习架构搜索方法，其特征在于，S1所述采用递归神经网络生成编码的具体方法为：递归神经网络模型由两个长短记忆单元构成，两个长短记忆单元通过全连接层生成N维向量；采用ε
‑
贪心的方法获取每层神经网络的神经单元数量，以神经单元数量作为深度神经网络模型的编码。3.根据权利要求2所述的基于结构化数据的深度学习架构搜索方法，其特征在于，所述两个长短记忆单元通过全连接层生成N维向量采用的激活函数是归一化指数函数。4.根据权利要求2所述的基于结构化数据的深度学习架构搜索方法，其特征在于，所述N维向量是对标签的独热编码分类的预测。5.根据权利要求4所述的基于结构化数据的深度学习架构搜索方法，其特征在于，所述标签是每层神经网络的最优单元数量。6.根据权利要求2所述的基于结构化数据的深度学习架构搜索方法，其特征在于，所述编...

【专利技术属性】
技术研发人员：王宏志，薛仲豪，王春楠，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：