二值神经网络的更新方法、装置及电子设备制造方法及图纸

本申请提供了一种二值神经网络的更新方法、装置及电子设备，其中，该方法包括：获取原始二值神经网络；原始二值神经网络包括多个第一子模型和多个第二子模型；针对每个第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置积核，得到更新后的目标二值神经网络；其中，第二预置卷积核对应的计算密度高于第一预置卷积核对应的计算密度；在对目标二值神经网络进行模型迭代训练得到目标模型后，目标模型通过服务器被部署至目标设备上运行。通过该方法以提高二值神经网络的精度。神经网络的精度。神经网络的精度。

【技术实现步骤摘要】
二值神经网络的更新方法、装置及电子设备


[0001]本申请涉及二值神经网络
，尤其是涉及一种二值神经网络的更新方法、装置及电子设备。

技术介绍

[0002]随着深度学习技术的不断发展，卷积神经网络(CNN)在图像分类、目标检测和目标识别等领域已被验证是非常可靠的，并且在实践中广泛应用。但是，由于在卷积神经网络中，卷积层的卷积核以及激活函数计算出来的激活值在存储的时候，需要占用较多存储空间(具体为32bit)。因此，随着卷积神经网络的规模(即模型深度，例如卷积层数量等)的增长，卷积神经网络通常需要部署在具有充足计算资源(具体地包括CPU计算能力、GPU计算能力以及设备存储空间等)的设备中，从而导致计算资源有限的边缘设备无法部署卷积神经网络。
[0003]为了克服上述问题，目前通常使用二值神经网络(BNN)代替卷积神经网络，以使用二值神经网络解决图像分类、目标检测和目标识别等任务。具体地，由于在二值神经网络中，卷积层的卷积核以及激活函数计算出来的激活值在存储的时候，仅仅需要占用1bit，比卷积神经网络所需的计算成本和内存占用少很多。但是，原来在卷积神经网络中，由32bit存储的数据，在二值神经网络中存储成了1bit，必然会造成数据精度的损失，从而影响二值神经网络的精度。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种二值神经网络的更新方法、装置及电子设备，以提高二值神经网络的精度。
[0005]第一方面，本申请实施例提供了一种二值神经网络的更新方法，所述方法应用于服务器，所述方法包括：
[0006]获取原始二值神经网络；所述原始二值神经网络包括多个第一子模型和多个第二子模型；
[0007]针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络；其中，所述第二预置卷积核对应的计算密度高于所述第一预置卷积核对应的计算密度；在对所述目标二值神经网络进行模型迭代训练得到目标模型后，所述目标模型通过所述服务器被部署至目标设备上运行。
[0008]结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络，包括：
[0009]针对每个所述第一子模型，将该第一子模型中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核，得到更新后的目标二值神经网络。
[0010]结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络，包括：
[0011]针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，以及针对每个所述第二子模型，将该第二子模型中的二值量化后的第三预置卷积核替换为二值量化后的第四预置卷积核，得到更新后的目标二值神经网络；所述第四预置卷积核对应的计算密度高于所述第三预置卷积核对应的计算密度。
[0012]结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述针对每个所述第二子模型，将该第二子模型中的二值量化后的第三预置卷积核替换为二值量化后的第四预置卷积核，包括：
[0013]针对每个所述第二子模型，将该第二子模型中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核。
[0014]结合第一方面或第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：
[0015]获取训练样本集；所述训练样本集中包括多个训练样本图像，以及每个所述训练样本图像对应的图像类别标签；
[0016]将所述训练样本图像输入至所述目标二值神经网络中，以使所述目标二值神经网络根据所述训练样本图像中的图像内容对所述训练样本图像进行分类，输出所述训练样本图像对应的图像分类结果；
[0017]根据所述图像类别标签和所述图像分类结果，计算所述目标二值神经网络的损失值；
[0018]利用所述损失值对所述目标二值神经网络中的可学习参数进行反向传播训练，直至所述目标二值神经网络满足训练截止条件时停止训练，以及将当前训练轮次的目标二值神经网络作为目标模型；所述目标模型用于进行图像分类。
[0019]结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述目标设备的计算资源小于预设计算资源；所述目标模型是通过以下方式进行图像分类的：
[0020]接收待分类图像；
[0021]根据所述待分类图像中的图像内容对所述待分类图像进行分类，输出所述待分类图像对应的目标图像分类结果。
[0022]结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，其中，所述第一子模型包括第一二值量化函数、包含二值量化后的3
×
3卷积核的第一卷积层、第一批归一化层、第一叠加层、第一激活层、第二二值量化函数、包含二值量化后的1
×
1卷积核的第二卷积层、第二批归一化层、第二叠加层、第二激活层；
[0023]所述将该第一子模型中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核，包括：
[0024]响应于目标用户针对所述第一子模型中所述第二卷积层的卷积核的编辑操作，以将所述第二卷积层中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核；
[0025]或者，
[0026]根据所述第一子模型中各个卷积层的卷积核，识别出所述第一子模型中的所述第二卷积层；
[0027]将所述第二卷积层中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核。
[0028]结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第七种可能的实施方式，其中，所述目标二值神经网络包括多个第三子模型和多个所述第二子模型；所述第三子模型是对所述第一子模型进行更新后得到的；
[0029]所述第二子模型包括第三二值量化函数、包含二值量化后的3
×
3卷积核且步长为2的第三卷积层、第三批归一化层、第三叠加层、第三激活层、平均池化层、第四二值量化函数、包含二值量化后的1
×
1卷积核的第四卷积层、第四批归一化层、第四叠加层、第四激活层、第五二值量化函数、包含二值量化后的1
×
1卷积核的第五卷积层、第五批归一化层、第五叠加层、第五激活层、连接层；
[0030]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二值神经网络的更新方法，其特征在于，所述方法应用于服务器，所述方法包括：获取原始二值神经网络；所述原始二值神经网络包括多个第一子模型和多个第二子模型；针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络；其中，所述第二预置卷积核对应的计算密度高于所述第一预置卷积核对应的计算密度；在对所述目标二值神经网络进行模型迭代训练得到目标模型后，所述目标模型通过所述服务器被部署至目标设备上运行。2.根据权利要求1所述方法，其特征在于，所述针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络，包括：针对每个所述第一子模型，将该第一子模型中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核，得到更新后的目标二值神经网络。3.根据权利要求1所述方法，其特征在于，所述针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，得到更新后的目标二值神经网络，包括：针对每个所述第一子模型，将该第一子模型中的二值量化后的第一预置卷积核替换为二值量化后的第二预置卷积核，以及针对每个所述第二子模型，将该第二子模型中的二值量化后的第三预置卷积核替换为二值量化后的第四预置卷积核，得到更新后的目标二值神经网络；所述第四预置卷积核对应的计算密度高于所述第三预置卷积核对应的计算密度。4.根据权利要求3所述方法，其特征在于，所述针对每个所述第二子模型，将该第二子模型中的二值量化后的第三预置卷积核替换为二值量化后的第四预置卷积核，包括：针对每个所述第二子模型，将该第二子模型中的二值量化后的1
×
1卷积核替换为二值量化后的3
×
3卷积核。5.根据权利要求1或3所述方法，其特征在于，所述方法还包括：获取训练样本集；所述训练样本集中包括多个训练样本图像，以及每个所述训练样本图像对应的图像类别标签；将所述训练样本图像输入至所述目标二值神经网络中，以使所述目标二值神经网络根据所述训练样本图像中的图像内容对所述训练样本图像进行分类，输出所述训练样本图像对应的图像分类结果；根据所述图像类别标签和所述图像分类结果，计算所述目标二值神经网络的损失值；利用所述损失值对所述目标二值神经网络中的可学习参数进行反向传播训练，直至所述目标二值神经网络满足训练截止条件时停止训练，以及将当前训练轮次的目标二值神经网络作为目标模型；所述目标模型用于进行图像分类。6.根据权利要求5所述方法，其特征在于，所述目标设备的计算资源小于预设计算资源；所述目标模型是通过以下方式进行图像分类的：接收待分类图像；根据所述待分类图像中的图像内容对所述待分类图像进行分类，输出所述待分类图像
对应的目标图像分类结果。...

【专利技术属性】
技术研发人员：尤江华，郑影，王湾湾，王杨俊杰，杨恒，高华，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：