网络模型确定方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种网络模型确定方法、装置、电子设备及可读存储介质，该方法包括：依据预设搜索空间构建超网络；依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特。该方法可以在优化所确定的最终网络模型的性能的情况下，减少搜索空间，提高搜索效率。高搜索效率。高搜索效率。

【技术实现步骤摘要】
网络模型确定方法、装置、电子设备及可读存储介质


[0001]本申请涉及深度学习
，尤其涉及一种网络模型确定方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前，深度学习技术在很多领域都取得了重要的成果，而神经网络结构设计对其性能起着决定性作用。人工设计的模型结构，需要领域专家根据经验设计，对设计者的专业能力和经验有着很高的要求，设计成本较高。
[0003]近年来，模型结构搜索(Neural Architecture Search，简称NAS)成为一个研究热点，通过自动搜索得到给定限制下的高效模型结构。
[0004]如何自动搜索得到更优的网络模型结构成为一个亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本申请提供一种网络模型确定方法、装置、电子设备及可读存储介质，以优化自动搜索得到的网络模型的性能。
[0006]具体地，本申请是通过如下技术方案实现的：
[0007]根据本申请实施例的第一方面，提供一种网络模型确定方法，包括：
[0008]依据预设搜索空间构建超网络；
[0009]依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；
[0010]依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。
[0011]根据本申请实施例的第二方面，提供一种网络模型确定装置，包括：
[0012]构建单元，用于依据预设搜索空间构建超网络；
[0013]训练单元，用于依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；
[0014]搜索单元，用于依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。
[0015]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述网络模型确定方法。
[0016]根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储
介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述网络模型确定方法。
[0017]本申请提供的技术方案至少可以带来以下有益效果：
[0018]通过依据预设搜索空间构建的超网络，并依据该超网络分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络，由浮点超网络提供模型结构、由浮点比特超网络提供量化比特，以及由N1/N2比特超网络提供不同模型结构和/或不同量化比特的子网络的性能，依据浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特，在优化所确定的最终网络模型的性能的情况下，减少了搜索空间，提高了搜索效率。
附图说明
[0019]图1是本申请示例性实施例示出的一种网络模型确定方法的流程示意图；
[0020]图2是本申请示例性实施例示出的一种超网络训练的流程示意图；
[0021]图3是本申请示例性实施例示出的一种进行模型结构和混合比特联合搜索的流程示意图；
[0022]图4是本申请示例性实施提供的一种结构比特联合搜索示意图；
[0023]图5是本申请示例性实施提供的一种网络模型确定装置的结构示意图；
[0024]图6是本申请示例性实施提供的一种电子设备的硬件结构示意图。
具体实施方式
[0025]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0026]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0027]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例涉及的部分技术术语以及本申请实施例的应用场景进行简单说明。
[0028]一、技术术语
[0029]1、超网络：模型结构搜索中，包含搜索空间内所有网络的大网络。
[0030]2、量化：对浮点数值用定点数近似表示。
[0031]3、混合比特量化：通过某种策略，确定神经网络各层在量化过程的比特位宽选择。通过用更多的比特量化敏感的网络层，更少的比特来量化不敏感的层，从而在等效低比特的情况下降低量化后模型的精度损失。
[0032]4、神经网络(Neural Network，简称NN)，也可以称为人工神经网络(Artificial Neural Network，简称ANN)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
[0033]神经网络由大量的节点(或称“神经元”)和之间相互的联接构成。每个节点代表一种特定的输出函数，称为激励函数、激活函数。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。
[0034]5、深度神经网络(Deep Neural Network，简称DNN)，是一种具备至少一个隐层的神经网络，能够为复杂非线性系统提供建模。
[0035]6、卷积神经网络(Convolutional Neural Networks，简称CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(Deep Learning)的代表算法之一。卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。
[0036]为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型确定方法，其特征在于，包括：依据预设搜索空间构建超网络；依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。2.根据权利要求1所述的方法，其特征在于，所述依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络，包括：对所述超网络进行浮点训练，得到浮点超网络；为所述浮点超网络的各可量化结构分别添加可训练量化超参，并通过量化训练，得到浮点比特超网络；其中，所述浮点超网络的可量化结构包括所述浮点网络的卷积层的权值或输入、或所述浮点网络的全连接层的权值或输入；以及，为所述浮点超网络各可量化结构分别添加N1/N2比特的量化分支，并通过量化训练，得到N1/N2比特超网络。3.根据权利要求1所述的方法，其特征在于，所述依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特，包括：依据所述浮点超网络以及所述浮点比特超网络进行模型结构和混合比特联合搜索，分别确定多个个体的模型结构和量化比特；其中，不同个体表征不同模型结构和/或不同量化比特的子网络；依据所述N1/N2比特超网络确定各个体的性能排序，并依据性能排序进行迭代搜索，得到最终模型结构和量化比特。4.根据权利要求3所述的方法，其特征在于，所述依据所述浮点超网络以及所述浮点比特超网络进行模型结构和混合比特联合搜索，分别确定多个个体的模型结构和量化比特，包括：对于依据所述浮点超网络得到的任一模型结构的个体，依据所述浮点比特超网络，确定该个体的各可量化结构的浮点量化比特；其中，可量化结构的浮点量化比特由该可量化结构的可训练量化超参经过所述量化训练得到；依据该个体的各可量化结构的浮点量化比特，确定该各个体的各可量化结构的量化比特为N1比特或N2比特；其中，浮点量化比特更大的可量化结构的量化比特大于或等于浮点量化比特更小的可量化结构的量化比特。5.根据权利要求4所述的方法，其特征在于，所述依据该个体的各可量化结构的浮点量化比特，确定该各个体的各可量化结构的量化比特，包括：分别比较该个体的各可量化结构的浮点量化比特与预设阈值；对于该个体的任一可量化结构，当该可量化结构的浮点量化比特大于所述预设阈值时，确定该可量化结构的量化比特为N2比特；否则，确定该可量化结构的量化比特为N1比特；N1＜N2。
6.根据权利要求5所述的方法，其特征在于，所述依据所述N1/N2比特超网络确定各个体的性能排序，包括：对于任一个体，依据该个体的模型结构和量化比特，确定所述N1/N2比特超网络中，与该个体的模型结构和量化比特均相同的目标子网络；依据各个体对应的目标子网络的性能排序，确定各个体的性能排序；所述依据性能排序进行迭代搜索，包括：依据当前轮次中性能从高到低排序的前K个个体，进行下一轮次的搜索，K为正整数。7.一种网络模型确定装置，其特征在于，包括：构建单元，用于依据预设搜索空间构建超网络；训练单元，用于依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特...

【专利技术属性】
技术研发人员：黄心忆，彭博，杨子伟，李哲暘，谭文明，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：