一种多指标神经网络架构自动搜索方法及系统技术方案

一种多指标神经网络架构自动搜索方法及系统，具体涉及一种多指标的最佳神经网络架构的自动搜索方法及系统，本发明专利技术为了解决卷积神经网络的NAS技术为单指标NAS技术，无法满足多指标的神经网络架构自动搜索的问题，方法为：先根据组件堆叠方法获取神经网络的搜索空间；将HPO超参数优化方法作为控制器，所述控制器为多指标的超参数优化控制器，在所述搜索空间内利用所述控制器和权重共享结合早停技术搜索得到最优神经网络架构。系统执行所述方法中的任一步骤。属于深度学习技术领域。的任一步骤。属于深度学习技术领域。的任一步骤。属于深度学习技术领域。

【技术实现步骤摘要】
一种多指标神经网络架构自动搜索方法及系统


[0001]本专利技术涉及一种搜索方法及系统，具体涉及一种多指标的最佳神经网络架构的自动搜索方法及系统，属于深度学习


技术介绍

[0002]卷积神经网络(简称CNN)在设计过程中往往需要考虑诸多要点，包括准确性、运算复杂性、参数量以及响应速度。因为在现实生活中人们常常需要将经典的CNN结构嵌入到平台中，例如智能设备和嵌入设备，以使得它们更为智能。这些平台通常是资源受限的，因此要求使用的CNN结构具有耗能低、内存占用小、处理速度快、准确性尽可能高的特征。
[0003]神经网络架构自动搜索技术(简称NAS技术)是近几年的一个研究热点。它可以帮助非专业用户自动设计出高准确性的神经网络模型架构，从而降低神经网络模型的开发门槛。已有的NAS技术的解决思路通常是首先定义一个有效的包含各种各样解决方案的搜索空间，然后设计一个高效的搜索策略指导算法从搜索空间中快速找寻到最佳的神经网络架构，最终将搜索到的最佳方案作为最终的输出。
[0004]NAS技术的提出为CNN开发带来了极大便利，但是现有NAS技术通常为单指标NAS技术，它们只考虑准确性作为评估指标，而没有充分考虑其他评估要素，导致无法搜索嵌入式、轻量级的架构，且某些时候无法满足用户的一些需求，比如，用户想要得到轻量级、准确性高、反应速度快的神经网络架构，依据现有的NAS技术是无法实现的。因此需要设计高效的面向多指标的NAS算法，以自动设计在多个技术指标上表现优异的CNN架构，并有效应对实际需求，即多指标的NAS技术还有待研究。

技术实现思路

[0005]本专利技术为了解决卷积神经网络的NAS技术为单指标NAS技术，无法满足多指标的神经网络架构自动搜索的问题，进而提出了一种多指标神经网络架构自动搜索方法及系统。
[0006]本专利技术采取的技术方案是：
[0007]它包括以下步骤：
[0008]S1、根据组件堆叠方法获取神经网络的搜索空间；
[0009]S2、将HPO超参数优化方法作为控制器，在所述搜索空间内利用所述控制器和权重共享结合早停技术搜索得到最优神经网络架构。
[0010]进一步地，所述组件堆叠方法具体过程为：
[0011]神经网络结构由多种组件堆叠而成，所述多种大于等于2，称为组件堆叠方法。
[0012]进一步地，所述S2中将HPO超参数优化方法作为控制器，在所述搜索空间内利用所述控制器和权重共享结合早停技术搜索得到最优神经网络架构，具体过程为：
[0013]在搜索空间内利用控制器搜索得到多个神经网络架构，利用权重共享结合早停技术对每个神经网络架构进行性能评估，得到每个神经网络架构的性能评估值，将性能评估值输入控制器内优化控制器的权重，利用优化权重后的控制器重新搜索所述搜索空间内的
神经网络架构，重复执行上述过程，直至输出一个最优的神经网络架构。
[0014]进一步地，所述在搜索空间内利用控制器搜索得到多个神经网络架构，利用权重共享结合早停技术对每个神经网络架构进行性能评估，得到每个神经网络架构的性能评估值，将性能评估值输入控制器内优化控制器的权重，利用优化权重后的控制器重新搜索所述搜索空间内的神经网络架构，重复执行上述过程，直至输出一个最优的神经网络架构，具体过程为：
[0015]在搜索空间内利用控制器搜索得到多个神经网络架构，每个神经网络架构均有一个编码，利用解码器解码每个神经网络架构，将解码后的每个神经网络架构利用权重共享结合早停技术进行性能评估，得到每个神经网络架构的性能评估值，利用性能评估值优化控制器的权重，根据优化权重后的控制器重新搜索所述搜索空间内的神经网络架构，重复执行上述过程，直至输出一个最优的神经网络架构及其对应的编码，将得到的最优的神经网络架构的编码输入解码器中解码，得到最优的神经网络架构。
[0016]进一步地，所述控制器为多指标的超参数优化控制器。
[0017]进一步地，所述多指标包括神经网络架构准确性和神经网络架构参数量。
[0018]进一步地，权重共享结合早停技术为：
[0019]保存组件在不同使用场景下的最佳权重信息，利用权重共享将最佳权重信息分配至每个神经网络架构包含的各个组件内，将带有最佳权重信息的所述各个组件重新进行堆叠，得到新的神经网络架构，再利用早停技术对新的神经网络架构进行性能评估。
[0020]进一步地，所述使用场景包括输出大小不同的场景、输入大小不同的场景、在神经网络架构中位置不同的场景。
[0021]一种多目标神经网络架构自动搜索系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如一种多指标神经网络架构自动搜索方法中任一步骤。
[0022]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如一种多指标神经网络架构自动搜索方法中任一步骤。
[0023]有益效果：
[0024]本专利技术先利用高性能组件堆叠的思想获取神经网络(CNN)的搜索空间，再将HPO超参数优化方法作为控制器，并利用所述控制器在所述搜索空间内搜索多个较优的神经网络架构(CNN架构)，实现神经网络架构(CNN架构)的快速搜索；利用权重共享结合早停的加速技术对得到的每个神经网络架构(CNN架构)进行性能评估，得到每个神经网络架构(CNN架构)的性能评估值，从而提高神经网络架构(CNN最优架构)的搜索速度；将性能评估值输入控制器内优化控制器的权重，利用优化权重后的控制器重新搜索所述搜索空间内的较优的神经网络架构(CNN架构)，重复执行上述过程，直至输出一个最优的神经网络架构(CNN最优架构)。
[0025]综上所述，本专利技术实现了自动快速地搜索到在多个评估指标下表现优异的神经网络架构，不仅提高了搜索空间质量、搜索速率，还降低了评估代价，高效地解决了多指标神经网络架构自动搜索问题，能够快速的获取准确性高且参数量小的轻量级神经网络架构(CNN架构)。这些优秀的轻量级神经网络架构(CNN架构)更适合于现有的移动设备以及嵌入式设备，能够有效提升这些设备的智能化，为用户带来更好的服务。
附图说明
[0026]图1是本专利技术的流程图；
[0027]图2是S2的流程图；
具体实施方式
[0028]具体实施方式一：结合图1
‑
图2说明本实施方式，本实施方式所述一种多指标神经网络架构自动搜索方法，它包括以下步骤：
[0029]S1、根据高性能组件堆叠方法获取神经网络的搜索空间。
[0030]高性能组件堆叠思想(方法)：现有的卷积神经网络(简称CNN)结构可看为由多种组件(包括降维组件，特征提取组件,分类组件等)堆叠而成。另外，现在已有许多高性能且轻量级的组件结构被提出，这些高性能组件结构对多指标下表现优异的CNN架构有很大帮助，如果将高性能组件视作CNN架构现有已知的组件，将会省去大量组件设计的时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多指标神经网络架构自动搜索方法，其特征在于：它包括以下步骤：S1、根据组件堆叠方法获取神经网络的搜索空间；S2、将HPO超参数优化方法作为控制器，在所述搜索空间内利用所述控制器和权重共享结合早停技术搜索得到最优神经网络架构。2.根据权利要求1中所述的一种多指标神经网络架构自动搜索方法，其特征在于：所述组件堆叠方法具体过程为：神经网络由多种组件堆叠而成，所述多种大于等于2，称为组件堆叠方法。3.根据权利要求2中所述的一种多指标神经网络架构自动搜索方法，其特征在于：所述S2中将HPO超参数优化方法作为控制器，在所述搜索空间内利用所述控制器和权重共享结合早停技术搜索得到最优神经网络架构，具体过程为：在搜索空间内利用控制器搜索得到多个神经网络架构，利用权重共享结合早停技术对每个神经网络架构进行性能评估，得到每个神经网络架构的性能评估值，将性能评估值输入控制器内优化控制器的权重，利用优化权重后的控制器重新搜索所述搜索空间内的神经网络架构，重复执行上述过程，直至输出一个最优的神经网络架构。4.根据权利要求3中所述的一种多指标神经网络架构自动搜索方法，其特征在于：所述在搜索空间内利用控制器搜索得到多个神经网络架构，利用权重共享结合早停技术对每个神经网络架构进行性能评估，得到每个神经网络架构的性能评估值，将性能评估值输入控制器内优化控制器的权重，利用优化权重后的控制器重新搜索所述搜索空间内的神经网络架构，重复执行上述过程，直至输出一个最优的神经网络架构，具体过程为：在搜索空间内利用控制器搜索得到多个神经网络架构，每个神经网络架构均有一个编码，利用解码器解码每个神经网络架构，将解码后的每个神经网络架构利用权重共享结合早停...

【专利技术属性】
技术研发人员：王宏志，王春楠，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：