一种基于神经网络架构搜索构建二值神经网络的方法技术

本发明专利技术公开了一种基于神经网络架构搜索构建二值神经网络的方法，属于物体识别技术领域。该方法首先给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板，并提出一个通道数非递减策略来裁剪搜索空间；之后，基于该搜索空间生成对应二值神经网络超网，该超网包含众多候选二值子网，任一子网可以通过权重继承的方式从超网中获取对应参数；之后，提出了二值教师策略、二值转换模块和权重归一化模块三大部件，以优化二值神经网络超网的训练、增强搜索所得最终二值神经网络在图像识别等任务上的精度；最后，利用任意搜索算法，在二值神经网络超网上获取对应限制下的最优二值神经网络。本发明专利技术可以满足多种部署环境下的图像识别需求。下的图像识别需求。下的图像识别需求。

【技术实现步骤摘要】
一种基于神经网络架构搜索构建二值神经网络的方法


[0001]本专利技术属于物体识别
，涉及计算机视觉及深度学习技术，尤其涉及一种基于神经网络架构搜索构建二值神经网络的方法。

技术介绍

[0002]二值神经网络(Binary Neural Network，BNN)的权重参数和激活参数均为1比特，与常规的全精度网络相比，二值神经网络的卷积计算通过异或非操作(XNOR)和位计数操作(Bit
‑
Count)实现，并可以在CPU或嵌入式设备中较常规矩阵乘法取得至少58倍的加速。受益于快速的推理速度，二值神经网络已广泛应用于各类计算机视觉任务当中，包括图像分类、目标检测、实例分割等等，并已成为一种新型的图像识别网络范式。
[0003]然而，由于在构建用于图像识别任务的二值神经网络时需要较强的专家知识(如在神经网络中额外引入Bi
‑
Real模块等)，同时其训练策略也与常规神经网络的方案显著不同(如需要两阶段训练等)，这导致手工构建二值神经网络依赖于大量的人力和计算资源投入。虽然有研究者尝试将朴素的神经网络架构搜索引入到构建二值神经网络的流程中，但是受限于搜索空间小、搜索策略简单等因素，无法取得突破性的效果。综合来看，现有的构建二值神经网络的方法应用到图像识别任务中门槛较高，存在对人力的极大依赖、对资源的极大需求、不够灵活等瓶颈，无法快速、自动化地构建高效的二值神经网络，以用于图像识别的各个任务。

技术实现思路

[0004]为了克服上述现有技术的不足，本专利技术提供一种基于神经网络架构搜索构建二值神经网络的方法，可以基于给定的硬件约束限制(如理论计算量等)，快速获得对应限制下精度最优的二值神经网络，满足多种部署环境下的图像识别需求。
[0005]本专利技术的技术方案是：
[0006]一种基于神经网络架构搜索构建二值神经网络的方法，首先给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板，并提出一个通道数非递减策略来裁剪搜索空间；之后，基于该搜索空间生成对应二值神经网络超网，该超网包含众多候选二值子网(即一个确定的二值神经网络)，任一子网可以通过权重继承的方式从超网中获取对应参数；之后，提出了二值教师策略、二值转换模块和权重归一化模块三大部件，以优化二值神经网络超网的训练、增强搜索所得最终二值神经网络在图像识别等任务上的精度；最后，利用任意搜索算法，在二值神经网络超网上获取对应限制下的最优二值神经网络。具体来说，包括如下步骤：
[0007]1)给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板；
[0008]2)利用通道数非递减策略裁剪神经网络搜索空间；
[0009]假设A为裁剪前的搜索空间，a∈A表示搜索空间中的某一个子网，L
a
为该子网的总层数，表示该子网在第i层的特征通道数目，则最终裁剪后的搜索空间表示为
[0010][0011]3)基于搜索空间生成对应二值神经网络超网；该超网包含众多候选二值子网，任一子网通过权重继承的方式从二值神经网络超网中获取对应参数；
[0012]4)利用二值教师策略、二值转换模块、权重归一化模块三大部件，训练上述二值神经网络超网；
[0013]5)利用任意搜索算法，在二值神经网络超网上获取对应限制下的最优二值神经网络。
[0014]上述基于神经网络架构搜索的构建二值神经网络的方法可广泛应用于多种图像识别任务当中，进而应用于智能安防、自动驾驶、无人机勘测等多种应用场景，以快速实现同一模型在多种硬件需求的有效部署、应用，降低人力、物力、财力的消耗。
[0015]与现有技术相比，本专利技术的有益效果是：
[0016]本专利技术所提供的一种基于神经网络架构搜索构建二值神经网络的方法，可以基于给定的硬件约束限制(如理论计算量等)，快速获得对应限制下精度最优的二值神经网络，满足多种部署环境下的图像识别需求。
附图说明
[0017]图1为本专利技术具体实施例的流程示意图。
具体实施方式
[0018]下面通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0019]本专利技术提出了一种基于神经网络架构搜索算法构建二值神经网络的方法，其整体流程如图1所示。下文以将本专利技术应用到图像分类任务(ImageNet数据集)为具体实例进行介绍。
[0020]1)利用在图像识别任务上对二值神经网络友好的神经网络搜索空间模板。
[0021][0022]表1.对二值神经网络友好的神经网络搜索空间模板
[0023]为增强本专利技术专利的通用性，在此给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板，如表1。其中Input表示对应层的输入特征图分别率、Operator表示对应层的类别(共包含常规卷积层Conv2d，可分离卷积层Separable Conv2d，均匀池化层Avgpool2d，线性映射层Linear)、Depth表示对应层的候选堆叠次数、Channel width表示对应层的候选特征通道数、Kernel size表示对应层的候选卷积核大小、Groups表示对应层的候选卷积组数、Stride表示对应层的卷积步长。在本例使用中，直接使用该搜索空间模板作为具体的搜索空间。
[0024]2)利用通道数非递减策略裁剪搜索空间。
[0025]假设A为裁剪前的搜索空间，a∈A表示搜索空间中的某一个子网，L
a
为该子网的总层数，表示该子网在第i层的特征通道数目，则最终裁剪后的搜索空间可以表示为
[0026][0027]上述步骤将搜索空间中，特征通道数存在递减情况的子网进行了剔除，有效降低了搜索空间大小，有利于加速二值神经网络的收敛和后续搜索阶段。
[0028]3)基于搜索空间生成对应二值神经网络超网。
[0029]利用所采用的二值神经网络架构搜索空间，直接生成为二值神经网络超网，即构建搜索空间所能表示的最大的一个二值神经网络架构。具体而言，Depth、Channel width、Kernel size三种候选操作将为每一层选择最大值(由于这三种操作数值越大，神经网络越大)，而Groups的候选操作将为每一层选择最小值(由于该操作数值越小，神经网络越大)。在本例中，二值神经网络超网第一层Operator为Conv2d，Depth为1，Channel width为48，Kernel size为3，Groups为1，Stride为2；第二层Operator为Separable Conv2d，Depth为3，Channel width为96，Kernel size为3，Groups为1，Stride为1；第三层Operator为Separable Conv2d，Depth为3，Channel width为192，Kernel size为5，Groups为1，Stride为2；第四层Operator为Separable Conv2d，Depth为3，Channel width为3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络架构搜索构建二值神经网络的方法，包括如下步骤：1)给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板；2)利用通道数非递减策略裁剪神经网络搜索空间；假设A为裁剪前的搜索空间，a∈A表示搜索空间中的某一个子网，L
a
为该子网的总层数，表示该子网在第i层的特征通道数目，则最终裁剪后的搜索空间表示为3)基于搜索空间生成对应二值神经网络超网，该超网包含众多候选二值子网，任一子网通过权重继承的方式从二值神经网络超网中获取对应参数；4)利用二值教师策略、二值转换模块、权重归一化模块三大部件，训练上述二值神经网络超网；5)利用任意搜索算法，在二值神经网络超网上获取对应限制下的最优二值神经网络。2.如权利要求1所述的基于神经网络架构搜索构建二值神经网络的方法，其特征在于，步骤3)中Depth、Channel width、Kernel size三种候选操作将为每一层选择最大值；Groups的候选操作将为每一层选择最小值。3.如权利要求1所述的基于神经网络架构搜索构建二值神经网络的方法，其特征在于，步骤4)中二值教师策略具体包括：在训练阶段，在每一次迭代选择四个二值子网进行训练，分别最大子网、最小子网和两个随机子网，在最大子网中，选择保留其权重为全精度，同时，利用最大子网的输出信息作为监督信号，来监督训练剩余三个子网，整体损失函数表示为：其中L
CE
和L
KL
分别表示交叉熵损失和KL散度损失，Y是真实值标签，是最大子网的预测值，y
s
和是最小子网和第i个随机子网的预测值。4.如权利要求1所述的基于神经网络架构搜索构建二值神经网络的方法，其特征在于，步骤4)中二值转换模块，用于实现共享权重二值化，即在支持最大子网的全精度权重的同时...

【专利技术属性】
技术研发人员：王勇涛，林稚皓，褚孝杰，
申请(专利权)人：北京大学，
类型：发明
国别省市：