神经网络架构的搜索方法及相关设备技术

本申请实施例提供了一种神经网络架构的搜索方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及人工智能技术领域。该方法包括：获取搜索空间对应的超网络的性能信息；基于获取的性能信息，优化超网络的网络结构参数，或从搜索空间对应的超网络中搜索神经网络架构。本申请的实施有利于提高搜索得到的神经网络架构的性能。同时，由电子设备执行的上述神经网络架构的搜索方法可以使用人工智能模型来执行。能模型来执行。能模型来执行。

【技术实现步骤摘要】
神经网络架构的搜索方法及相关设备


[0001]本申请涉及人工智能
，具体而言，本申请涉及一种神经网络架构的搜索方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]神经网络架构搜索(NAS，Neural Architecture Search)是在机器学习领域中的研究热点。NAS可以在不需要人工干预的情况下针对特定的学习问题搜索出有效的神经网络架构。
[0003]然而，目前NAS针对给定的数据和任务进行神经网络架构的搜索准确度较低，且搜索出的神经网络架构性能较差。

技术实现思路

[0004]本申请实施例提供了一种神经网络架构的搜索方法、装置、电子设备、计算机可读存储介质及计算机程序产品，可以解决搜索出的神经网络架构性能差的问题。所述技术方案如下：
[0005]根据本申请实施例的一个方面，提供了一种神经网络架构的搜索方法，该方法包括：
[0006]获取搜索空间对应的超网络的性能信息；
[0007]基于获取的所述性能信息，优化所述超网络的网络结构参数，或从所述搜索空间对应的超网络中搜索神经网络架构。
[0008]根据本申请实施例的另一个方面，提供了一种神经网络架构的搜索装置，包括：
[0009]获取模块，用于获取搜索空间对应的超网络的性能信息；
[0010]优化搜索模块，用于基于获取的所述性能信息，优化所述超网络的网络结构参数，或从所述搜索空间对应的超网络中搜索神经网络架构。
[0011]根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述神经网络架构的搜索方法的步骤。
[0012]根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述神经网络架构的搜索方法的步骤。
[0013]根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述神经网络架构的搜索方法的步骤。
[0014]本申请实施例提供的技术方案带来的有益效果是：
[0015]本申请提供一种神经网络架构的搜索方法、装置、电子设备、计算机可读存储介质及计算机程序产品，具体地，本申请在进行神经网络架构的搜索处理上，针对搜索空间对应的超网络，获取其性能信息，以便基于获取的性能信息优化超网络的网络结构参数，或在搜索空间对应的超网络中搜索神经网络架构；本申请的实施通过针对搜索空间的超网络获取
的性能信息进行网络结构参数的优化，有利于提高超网络的性能；其次，基于获取的性能信息从搜索空间对应的超网络中搜索神经网络架构，有利于提高神经网络的搜索准确度，并提高搜索得到的神经网络架构的性能。
附图说明
[0016]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0017]图1a为本申请实施例提供的一种神经网络架构的搜索方法的处理流程示意图；
[0018]图1b为本申请实施例提供的另一种神经网络架构的搜索方法的处理流程示意图；
[0019]图1c为本申请实施例提供的再一种神经网络架构的搜索方法的处理流程示意图；
[0020]图2为本申请实施例提供的一种神经网络架构的搜索方法的流程示意图；
[0021]图3为本申请实施例提供的一种神经网络架构的搜索方法中基于梯度的评估方法评估超网络的第一性能的流程示意图；
[0022]图4为本申请实施例提供的一种神经网络架构的搜索方法中通过预测器辅助的精度评估方法的流程示意图；
[0023]图5为本申请实施例提供的一种神经网络架构的搜索方法中所采用的预测器辅助的精度评估方法的框架示意图；
[0024]图6为本申请实施例提供的一种多层搜索空间的设计示例示意图；
[0025]图7为本申请实施例提供的一种多层搜索空间的各种操作组合的结果示意图；
[0026]图8为本申请实施例提供的一种多层搜索空间的层数确定方法的流程示意图；
[0027]图9为本申请实施例提供的一种针对两层搜索空间的网络结构参数归一化处理的示意图；
[0028]图10为本申请实施例提供的一种在多层搜索空间中选择最终操作的流程示意图；
[0029]图11a为本申请实施例提供的一种采用预测器进行网络性能预测的流程示意图；
[0030]图11b为本申请实施例提供的一种预测器的架构示意图；
[0031]图12为本申请实施例提供的一种预测器训练的流程示意图；
[0032]图13为本申请实施例提供的一种神经网络架构的搜索装置的结构示意图；
[0033]图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0034]下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
[0035]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本
所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件
建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
[0036]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0037]本申请涉及人工智能
，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构的搜索方法，其特征在于，包括：获取搜索空间对应的超网络的性能信息；基于获取的所述性能信息，优化所述超网络的网络结构参数，或从所述搜索空间对应的超网络中搜索神经网络架构。2.根据权利要求1所述的方法，其特征在于，所述搜索空间包含若干个候选操作集，至少一个候选操作集包含所述搜索空间内至少两个子空间的候选操作，其中，至少一个候选操作集的所有候选操作的网络结构参数的和为1。3.根据权利要求2所述的方法，其特征在于，还包括：预测不同数量的操作分别对应的第一性能信息；基于所述第一性能信息，确定操作的目标数量；基于所述目标数量，确定至少一个候选操作集中包括的子空间的数量。4.根据权利要求3所述的方法，其特征在于，基于所述目标数量，确定至少一个候选操作集中包括的子空间的数量，包括：基于所述目标数量，确定各候选操作集的操作的目标数量；基于至少一个候选操作集的操作的目标数量，确定所述至少一个候选操作集中的子空间的数量。5.根据权利要求4所述的方法，其特征在于，至少一个候选操作集包含的子空间的数量为该候选操作集的操作的目标数量。6.根据权利要求3
‑
5中任一项所述的方法，其特征在于，确定操作的目标数量，包括：确定不同数量的操作分别对应的第一性能信息与目标性能信息之间的预测差值；基于所述预测差值，确定操作的目标数量。7.根据权利要求3
‑
6中任一项所述的方法，其特征在于，所述第一性能信息包括网络延时信息。8.根据权利要求1
‑
7中任一项所述的方法，其特征在于，所述超网络的性能信息包括对在所述超网络中采样得到的采样网络进行性能预测得到的第二性能信息；基于获取的所述性能信息优化所述超网络的网络结构参数，包括：基于所述第二性能信息优化所述超网络的网络结构参数。9.根据权利要求8所述的方法，其特征在于，所述超网络的性能信息还包括对所述超网络进行性能评估得到的第三性能信息；基于获取的所述性能信息优化所述超网络的网络结构参数，包括：基于所述第二性能信息和所述第三性能信息优化所述超网络的网络结构参数。10.根据权利要求1
‑
9中任一项所述的方法，其特征在于，所述超网络的性能信息包括所述超网络的精度信息和/或延时信息。11.根据权利要求1
‑
10中任一项所述的方法，其特征在于，基于获取的所述性能信息，优化所述超网络的网络结构参数，或从所述搜索空间对应的超网络中搜索神经网络架构，包括：判断是否满足搜索结束条件；若满足，则从所述搜索空间对应的超网络中采样出神经网络架构；若不满足，则基于获取的所述性能信息优化所述超网络的网络结构参数后，执行所述
获取搜索空间对应的超网络的性能信息的步骤。12.根据...

【专利技术属性】
技术研发人员：姜映映，甘卓欣，林科，阿勇，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：