神经网络稀疏化方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请实施例公开了神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习、计算机视觉、自然语言处理等人工智能技术领域。该方法的一具体实施方式包括：将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；确定各关联权重组中各关联权重在预设正则化方式下的排序结果；根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。应用该实施方式可视训练出的稀疏化神经网络模型将拥有与复杂神经网络精度更接近的输出。出。出。

【技术实现步骤摘要】
神经网络稀疏化方法、装置、设备、存储介质及程序产品


[0001]本申请涉及数据
，具体涉及深度学习、模型稀疏化、计算机视觉、自然语言处理等人工智能
，尤其涉及神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]由于神经网络的特点，其对数据的拟合能力很大程度取决于网络的复杂程度，一个更加复杂的神经网络几乎总是能在相应的业务场景下获得更好的表现。然而随着神经网络技术的大规模应用，其相关算法的部署场景呈现出多样化，大规模化的特点。许多网络虽然在各自任务上有着非常优异的表现，然而其复杂的网络结构所带来的高推理延迟，高能耗和存储模型参数所需的庞大存储空间都限制了这些网络或模型在更多领域的应用。
[0003]面对神经网络技术愈加复杂应用场景，需要神经网络压缩技术来在神经网络表现与部署硬件有限的资源之间达到平衡，稀疏化就是一种对网络结构中不重要的子网络进行剪枝以降低其复杂程度的方法。

技术实现思路

[0004]本申请实施例提出了一种神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
[0005]第一方面，本申请实施例提出了一种神经网络稀疏化方法，包括：将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；确定各关联权重组中各关联权重在预设正则化方式下的排序结果；根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。
[0006]第二方面，本申请实施例提出了一种神经网络稀疏化装置，包括：关联权重分组单元，被配置成将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；正则化排序单元，被配置成确定各关联权重组中各关联权重在预设正则化方式下的排序结果；重要/不重要划分单元，被配置成根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；前向传播随机移除单元，被配置成在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的神经网络稀疏化方法。
[0008]第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的神经
网络稀疏化方法。
[0009]第五方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的神经网络稀疏化方法。
[0010]本申请实施例提供的神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，首先，将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组，各关联权重组中均存储有预设数量的关联权重；然后，确定各关联权重组中各关联权重在预设正则化方式下的排序结果；接着，根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；最后，在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。
[0011]与将网络层的所有权重放在一起共同划分属于重要子网络还是非重要子网络的传统稀疏化方式不同，本申请是预先将各权重按关联性划分为多个关联权重组，后续将以关联权重组为单位重要子网络或非重要子网络的划分以及稀疏化训练，针对组内所进行的此种稀疏化训练能够基于关联性在更小、更准确的范围内进行剪枝，即为组内稀疏化结构提供一种适配的组内稀疏化方法，使得按此方式训练出的稀疏化神经网络模型将拥有与复杂神经网络精度更接近的输出。
[0012]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0014]图1是本申请可以应用于其中的示例性系统架构；
[0015]图2为本申请实施例提供的一种神经网络稀疏化方法的流程图；
[0016]图3为本申请实施例提供的另一种神经网络稀疏化方法的流程图；
[0017]图4a、图4b、图4c均为与图3对应的一种实际例子示意图；
[0018]图5为本申请实施例提供的又一种神经网络稀疏化方法的流程图；
[0019]图6为与图5提供的方法对应的稀疏化训练过程中稀疏比例和移除概率的调整变化折线图；
[0020]图7为本申请实施例提供的一种神经网络稀疏化装置的结构框图；
[0021]图8为本申请实施例提供的一种适用于执行神经网络稀疏化方法的电子设备的结构示意图。
具体实施方式
[0022]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0023]图1示出了可以应用本申请的神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品的实施例的示例性系统架构100。
[0024]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0025]具体的，终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是包括智能手机、平板电脑、膝上型便携计算机和台式计算机在内的各种电子设备；当终端设备101、102、103为软件时，可以是安装在上述所列举的电子设备中的单/多个软件/功能模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，也可以实现成单/多个软件/功能模块，在此不做具体限定。
[0026]其中，服务器105用于将用于解决实际需求或用于提供对外服务所需要使用到的复杂神经网络进行稀疏化，得到更加轻量级的稀疏化神经网络，也就是复杂神经网络的稀疏化是在服务器105上完成的。服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络稀疏化方法，包括：将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各所述关联权重组中均存储有预设数量的关联权重；确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果；根据预设的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重；在前向传播过程中按照预设的移除概率随机移除所述不重要权重，得到稀疏化神经网络。2.根据权利要求1所述的方法，其中，响应于对所述复杂神经网络的稀疏化训练仅存在一个阶段，所述确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果，包括：将各所述关联权重组中各关联权重的L1范数作为其第一正则化项；其中，所述L1范数是计算向量中各个元素绝对值的和；按照所述第一正则化项的大小依次排列，得到每个所述关联权重组中各关联权重的排序结果。3.根据权利要求1所述的方法，其中，响应于对所述复杂神经网络的稀疏化训练被分为前后两个阶段，所述确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果，包括：在稀疏化训练的前半阶段，将各所述关联权重组中各关联权重的L1
‑
2范数作为其第二正则化项；其中，所述L1
‑
2范数是对每个关联权重组内的各关联权重分别计算所述L1范数，再以各关联权重组中的所有关联权重的绝对值合为单位计算L2范数；在稀疏化训练的后半阶段，将各所述关联权重组中各关联权重的L2范数作为其第三正则化项；其中，所述L2范数是计算向量各元素的平方和的平方根。4.根据权利要求3所述的方法，其中，所述根据预设的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，在前向传播过程中按照预设的移除概率随机移除所述不重要权重，包括：在稀疏化训练的前半阶段，以实际数值从0逐渐提高至第一数值的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，并保持以50％的移除概率在前向传播中移除所述不重要权重；在稀疏化训练的后半阶段，保持实际数值为所述第一数值的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，并以实际数值从50％逐渐提高至100％的移除概率在前向传播中移除所述不重要权重。5.根据权利要求1所述的方法，还包括：分别通过所述稀疏化神经网络和所述复杂神经网络得到输入的相同测试数据集的第一结果和第二结果；响应于所述第一结果与所述第二结果的差异小于预设差异，确定所述稀疏化神经网络处于可用状态。6.根据权利要求1
‑
5任一项所述的方法，还包括：将所述稀疏化神经网络置入具有轻量化运算能力的轻量化终端；
控制传入的复杂神经网络调用指令转移给所述轻量化终端中的稀疏化神经网络。7.根据权利要求6所述的方法，响应于所述复杂神经网络为用于输出与输入的待分类图像所属的实际类别的图像分类模型，还包括：利用所述轻量化终端中的稀疏化神经网络处理传入的待分类图像，并返回输出的实际类别。8.根据权利要求6所述的方法，响应于所述复杂神经网络为用于输出输入的待处理文本中包含的指定类型实体的实体识别模型，还包括：利用所述轻量化终端中的稀疏化神经网络处理传入的待处理文本，并返回输出的实际实体。9....

【专利技术属性】
技术研发人员：禹梓林，王豪爽，党青青，刘其文，胡晓光，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：