网络模型结构的搜索方法、装置以及电子设备制造方法及图纸

本申请公开了一种网络模型结构的搜索方法、装置以及电子设备，涉及神经网络的架构搜索领域。具体实现方案为：从搜索空间中的多个网络模型结构中选择采样模型结构；利用采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值；根据具有超参数的预测值的概率分布模型，得到任一网络模型结构的性能；根据网络模型结构的性能，筛选出符合搜索任务的网络模型结构。当搜索任务发生变化时，无需对搜索空间内全部的网络模型结构进行重新搜索。只需要选择出网络模型结构的性能符合搜索任务的约束条件的网络模型结构即可。将搜索过程与约束条件完全解耦，提高搜索效率，降低搜索成本。

Search method, device and electronic equipment of network model structure

【技术实现步骤摘要】
网络模型结构的搜索方法、装置以及电子设备
本申请涉及一种计算机领域，尤其涉及神经网络的架构搜索领域。
技术介绍
深度学习技术在很多方向上都取得了巨大的成功，最近几年NAS技术(NeuralArchitectureSearch，神经网络架构搜索)成为研究热点。NAS是用算法代替繁琐的人工操作，在海量的搜索空间中自动搜索出最佳的神经网络架构。进行神经网络的架构搜索的步骤包括：首先，搜索空间定义、确定搜索空间。然后，根据所采用的优化算法，比如用强化学习、进化算法、贝叶斯优化等算法确定搜索策略。最后，搜索得到模型结构的速度以及模型的性能。目前，神经网络的架构搜索的方法可包括基于强化学习的模型结构自动搜索、基于进化算法的模型结构自动搜索以及基于梯度的模型结构自动搜索。上述三种方法均是利用黑盒的模型结构来生成搜索策略。这样的搜索策略带来了多个技术问题，其中最主要的技术问题是，在进行各种不同的搜索任务时，如分类任务，检测任务，人脸识别任务等，每次搜索都是基于不同的搜索任务的单一的约束条件，得到不同的搜索结果。当多个搜索任务同时进行时，只能逐一进行搜索，即搜索过程与约束条件强耦合，当约束条件发生变化时，需要重新开启搜索。
技术实现思路
本申请实施例提供一种网络模型结构的搜索方法、装置以及电子设备，以解决现有技术中的一个或多个技术问题。第一方面，本申请实施例提供了一种网络模型结构的搜索方法，包括：从搜索空间中的多个网络模型结构中选择采样模型结构；利用采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值；根据具有超参数的预测值的概率分布模型，得到任一网络模型结构的性能；根据网络模型结构的性能，筛选出符合搜索任务的网络模型结构。在本实施方式中，从搜索空间中选择少量的网络模型结构作为采样模型结构，并利用采样模型结构对概率分布模型的超参数进行更新，进而推导出搜索空间中任意网络模型结构的性能。当搜索任务发生变化时，即约束条件发生变化时，无需对搜索空间内全部的网络模型结构进行重新搜索。由于获得了任意网络模型结构的性能，只需要根据各个网络模型结构的性能选择出符合搜索任务的约束条件的网络模型结构即可。将搜索过程与约束条件完全解耦，提高搜索速度和准确率，降低搜索成本。在一种实施方式中，利用采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值，包括：根据概率分布模型的超参数的先验分布得到采样模型的预测性能；将采样模型的预测性能、真实性能及其性能偏差，以及超参数的先验分布输入至贝叶斯估计算法模型中，输出超参数的后验分布；将超参数的后验分布作为下一次获取的超参数的先验分布，进行预设次数的迭代计算，得到超参数的预测值；其中，预设次数是根据搜索任务预先设定的迭代次数。在本实施方式中，通过对超参数进行迭代更新，超参数的预测值越来越逼近真实值。由于引入超参数的先验分布，便于在不同搜索任务之间，实现迁移学习，提高搜索效率。在一种实施方式中，根据具有超参数的预测值的概率分布模型，得到任一网络模型结构的性能，包括：构建概率分布模型的核函数和均值函数，均值函数表示同一网络模型结构与性能之间的关系，核函数表示不同网络模型结构之间的关系；将网络模型结构对应的数字编码分别输入至核函数和均值函数中，得到网络模型结构的方差和均值；其中，网络模型结构的性能包括方差和均值。在本实施方式中，构建概率分布模型中的核函数和均值函数。考虑了同一网络模型结构与性能之间的关系，以及不同网络模型结构之间的关系，提高了超参数更新的准确率，进而提高搜索精度。在一种实施方式中，根据网络模型结构的性能，筛选出符合搜索任务的网络模型结构，包括：获取搜索任务的约束条件；根据网络模型结构的方差和均值得到置信空间；在置信空间满足约束条件的情况下，将网络模型结构作为符合搜索任务的搜索结果输出。在本实施方式中，当更换搜索任务时，约束条件发生变化，无需重新搜索，不同搜索任务之间很容易实现迁移学习，从而显著提升搜索效率。在一种实施方式中，概率分布模型包括高斯随机场建模模型。第二方面，本申请提供了一种网络模型结构的搜索装置，包括：采样模型结构选择模块，用于从搜索空间中的多个网络模型结构中选择采样模型结构；超参数更新模块，用于利用采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值；模型结构性能获取模块，用于根据具有超参数的预测值的概率分布模型，得到搜索空间中任一网络模型结构的性能；模型结构筛选模块，用于根据网络模型结构的性能，筛选出符合搜索任务的网络模型结构。在一种实施方式中，超参数更新模块包括：预测性能获取单元，用于根据概率分布模型的超参数的先验分布得到采样模型的预测性能；后验分布计算单元，用于将采样模型的预测性能、真实性能及其性能偏差，以及超参数的先验分布输入至贝叶斯估计算法模型中，输出超参数的后验分布；迭代计算单元，用于将超参数的后验分布作为下一次获取的超参数的先验分布，进行预设次数的迭代计算，得到超参数的预测值，其中，预设次数是根据搜索任务预先设定的迭代次数。在一种实施方式中，模型结构性能获取模块包括：函数构建单元，用于构建概率分布模型的核函数和均值函数，均值函数表示同一网络模型结构与性能之间的关系，核函数表示不同网络模型结构之间的关系；方差均值计算单元，用于将网络模型结构对应的数字编码分别输入至核函数和均值函数中，得到网络模型结构的方差和均值，其中，网络模型结构的性能包括方差和均值。在一种实施方式中，模型结构筛选模块包括：约束条件获取单元，用于获取搜索任务的约束条件；置信空间获取单元，用于根据网络模型结构的方差和均值得到置信空间；搜索结果输出单元，用于在置信空间满足约束条件的情况下，将网络模型结构作为符合搜索任务的搜索结果输出。上述申请中的一个实施例具有如下优点或有益效果：因为利用少量模型结构作为采样模型结构，并利用采样模型结构的性能对概率分布模型的超参数进行更新，进而推导出搜索空间中任意网络模型结构的性能的技术手段，所以克服了每更换一次搜索任务就要重新做搜索的技术问题，进而达到提高搜索效率，降低搜索成本的技术效果。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请的一种网络模型结构的搜索方法流程示意图；图2是根据本申请的另一种网络模型结构的方法流程示意图；图3是根据本申请的一种网络模型结构的搜索装置的结构框图；图4是根据本申请的另一种网络模型结构的搜索装置的结构框图；图5是用来实现本申请实施例的一种网络模型结构的搜索方法的电子设备的框图。具体实施方式以下结合附图对本申请本文档来自技高网...

【技术保护点】
1.一种网络模型结构的搜索方法，其特征在于，包括：/n从搜索空间中的多个网络模型结构中选择采样模型结构；/n利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到所述超参数的预测值；/n根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能；/n根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构。/n

【技术特征摘要】
1.一种网络模型结构的搜索方法，其特征在于，包括：
从搜索空间中的多个网络模型结构中选择采样模型结构；
利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到所述超参数的预测值；
根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能；
根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构。


2.根据权利要求1所述的方法，其特征在于，利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值，包括：
根据所述概率分布模型的超参数的先验分布得到所述采样模型的预测性能；
将所述采样模型的预测性能、真实性能及其性能偏差，以及所述超参数的先验分布输入至贝叶斯估计算法模型中，输出所述超参数的后验分布；
将所述超参数的后验分布作为下一次获取的超参数的先验分布，进行预设次数的迭代计算，得到所述超参数的预测值；
其中，所述预设次数是根据所述搜索任务预先设定的迭代次数。


3.根据权利要求1所述的方法，其特征在于，根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能，包括：
构建所述概率分布模型的核函数和均值函数，所述核函数和所述均值函数中包含所述超参数的预测值，所述均值函数表示同一所述网络模型结构与性能之间的关系，所述核函数表示不同所述网络模型结构之间的关系；
将所述网络模型结构对应的数字编码分别输入至所述核函数和所述均值函数中，得到所述网络模型结构的方差和均值；
其中，所述网络模型结构的性能包括所述方差和所述均值。


4.根据权利要求3所述的方法，其特征在于，根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构，包括：
获取所述搜索任务的约束条件；
根据所述网络模型结构的方差和均值得到置信空间；
在所述置信空间满足所述约束条件的情况下，将所述网络模型结构作为符合所述搜索任务的搜索结果输出。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述概率分布模型包括高斯随机场建模模型。


6.一种网络模型结构的搜索装置，其特征在于，包括：
采样模型结构选择模块，用于从搜索空间中的多个网络模型结构中选择采样模型结构；
超参数更新模块，用于利用所述采样模型结构的性能，对概率分布模型的超参...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11