联邦学习模型剪枝方法、装置及非易失性存储介质制造方法及图纸

本申请公开了一种联邦学习模型剪枝方法、装置及非易失性存储介质。其中，该方法包括：确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标，并依据各个通道对应的剪枝指标确定每个卷积层对应的剪枝指标顺序；确定目标学习分支的压缩率，并依据压缩率和每个卷积层对应的剪枝指标顺序确定目标学习分支的通道掩码数据，其中，压缩率用于确定每个卷积层中选择的通道数量；依据通道掩码数据，对目标学习分支的第一模型参数进行通道掩码运算，得到第二模型参数，其中，第二模型参数为剪枝后的目标学习分支的模型参数。本申请解决了由于相关技术依据全局信息确定每层剪枝比例造成的在确定剪枝比例时搜索空间大且搜索效率低的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
联邦学习模型剪枝方法、装置及非易失性存储介质


[0001]本申请涉及模型训练领域，具体而言，涉及一种联邦学习模型剪枝方法、装置及非易失性存储介质。

技术介绍

[0002]目前相关技术中在对联邦学习模型进行训练时，为了解决在训练过程中需要传递的模型参数量过大的问题，会采用自动化搜索剪枝方法来对模型参数进行压缩。但是相关技术中的自动化搜索剪枝方法是采用全局信息引导搜索来确定的每层剪枝比列，搜索空间较大，搜索效率低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种联邦学习模型剪枝方法、装置及非易失性存储介质，以至少解决由于相关技术依据全局信息确定每层剪枝比例造成的在确定剪枝比例时搜索空间大且搜索效率低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种联邦学习模型剪枝方法，包括：确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标，并依据各个通道对应的剪枝指标确定每个卷积层对应的剪枝指标顺序，其中，目标学习分支为联邦学习模型中的任意一个学习分支模型，并且目标学习分支通过本地存储的数据集进行训练，剪枝指标用于表示各个通道在每个卷积层中的重要程度；确定目标学习分支的压缩率，并依据压缩率和每个卷积层对应的剪枝指标顺序确定目标学习分支的通道掩码数据，其中，压缩率用于确定每个卷积层中选择的通道数量；依据通道掩码数据，对目标学习分支的第一模型参数进行通道掩码运算，得到第二模型参数，其中，第二模型参数为剪枝后的目标学习分支的模型参数。
[0006]可选地，确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标的步骤包括：在本地存储的数据集中随机选择部分数据，得到第一训练数据集；将第一训练数据集输入到目标学习分支中，并记录目标学习分支中各个卷积层对应的特征图；计算每个卷积层中各个通道的通道方向上的特征图的绝对值，得到第一目标统计矩阵，并计算每个卷积层中各个通道的通道方向上的特征图在缺少目标通道的情况下的绝对值，得到第二目标统计矩阵，其中，目标通道为通道方向对应的通道；对第一目标统计矩阵和第二目标统计矩阵进行二范数归一化后作差，得到各个通道对应的剪枝指标。
[0007]可选地，确定目标学习分支的压缩率，并依据压缩率和每个卷积层对应的剪枝指标顺序得到目标学习分支的通道掩码数据的步骤包括：依据压缩率和每个卷积层对应的剪枝指标顺序对每个卷积层中的通道进行筛选，得到筛选结果，其中，压缩率用于确定筛选后的通道的数量；依据筛选结果和剪枝指标顺序，得到通道掩码数据。
[0008]可选地，依据压缩率和每个卷积层对应的剪枝指标顺序对每个卷积层中的通道进行筛选，得到筛选结果的步骤包括：第一步，采用均匀剪枝策略和压缩率生成初始解，并将
初始解作为当前解，以及确定初始衰减步长，并将初始衰减步长作为当前衰减步长，其中，初始解中包括在采用均匀剪枝策略下每个卷积层中保留的通道数量；第二步，依据当前解和剪枝指标顺序，确定每个卷积层中的各个通道对应的通道掩码值，其中，每个卷积层中的各个通道对应的通道掩码值为第一掩码数据；第三步，将第一掩码数据和第二训练数据集输入到目标学习分支中，并计算目标学习分支的第一损失值，其中，第二训练数据集是在本地存储的数据集中随机选择得到的数据集；第四步，依据当前解和衰减步长，确定局部邻域解；第五步，依据局部邻域解和剪枝指标排序得到第二掩码数据，并将第二训练数据集和第二掩码数据输入到目标学习分支中，并计算目标学习分支的第二损失值，其中，每个局部邻域解均对应一个第二掩码数据；第六步，在存在第二损失值小于第一损失值的情况下，确定目标邻域解，并将目标邻域解作为当前解，跳转到第二步，其中，目标邻域解为对应的第二损失值最小的局部邻域解；第七步，令当前衰减步长等于当前衰减步长减一，并在当前衰减步长为零的情况下，确定当前解为筛选结果；在当前衰减步长不为零的情况下，跳转到第四步。
[0009]可选地，通道掩码值包括第一通道掩码值和第二通道掩码值，其中，通道掩码值为第一通道掩码值的通道的权值被通道选择器保留，通道掩码值为第二通道掩码值的通道的权值被通道选择器设置为零；依据当前解和剪枝指标顺序，确定每个卷积层中的各个通道对应的通道掩码值的步骤包括：按照剪枝指标顺序，确定每个卷积层中各个通道的通道排列顺序，其中，通道的剪切指标越大，通道在通道排列顺序中的序号越小；依据各个通道在通道排列顺序中的序号和当前解中的通道数量，确定各个通道对应的通道掩码值，其中，序号小于通道数量的通道对应的通道掩码值为第一通道掩码值，序号不小于通道数量的通道对应的通道掩码值为第二通道掩码值。
[0010]可选地，依据当前解和衰减步长，确定局部邻域解的步骤包括：依据当前解和衰减步长，确定第一目标卷积层和第二目标卷积层，其中，第一目标卷积层在当前解中对应的权值不为零的通道数量加上衰减步长小于第一目标卷积层中的全部通道的通道数量，第二目标卷积层在当前解中对应的权值不为零的通道数量大于衰减步长；依据第一目标卷积层和第二目标卷积层，确定局部邻域解。
[0011]可选地，依据通道掩码数据，对目标学习分支的第一模型参数进行通道掩码运算，得到第二模型参数的步骤之后，联邦学习模型剪枝方法还包括：压缩并发送第二模型参数至联邦学习模型的中央聚合器，并获取中央聚合器发送的第三模型参数，将第三模型参数作为目标学习分支的模型参数，其中，第三模型参数为中央聚合器依据各个学习分支模型发送的第二模型参数进行加权求和计算后得到的模型参数。
[0012]根据本申请实施例的另一方面，还提供了一种联邦学习模型剪枝装置，包括：排序模块，用于确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标，并依据各个通道对应的剪枝指标确定每个卷积层对应的剪枝指标顺序，其中，目标学习分支为联邦学习模型中的任意一个学习分支模型，并且目标学习分支通过本地存储的数据集进行训练，剪枝指标用于表示各个通道在每个卷积层中的重要程度；处理模块，用于确定目标学习分支的压缩率，并依据压缩率和每个卷积层对应的剪枝指标顺序确定目标学习分支的通道掩码数据，其中，压缩率用于确定每个卷积层中选择的通道数量；计算模块，用于依据通道掩码数据，对目标学习分支的第一模型参数进行通道掩码运算，得到第二模型参数，其中，第二
模型参数为剪枝后的目标学习分支的模型参数。
[0013]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行联邦学习模型剪枝训练方法。
[0014]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，程序运行时执行联邦学习模型剪枝方法。
[0015]在本申请实施例中，采用确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标，并依据各个通道对应的剪枝指标确定每个卷积层对应的剪枝指标顺序，其中，目标学习分支为联邦学习模型中的任意一个学习分支模型，并且目标学习分支通过本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习模型剪枝方法，其特征在于，包括：确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标，并依据所述各个通道对应的剪枝指标确定所述每个卷积层对应的剪枝指标顺序，其中，所述目标学习分支为所述联邦学习模型中的任意一个学习分支模型，并且所述目标学习分支通过本地存储的数据集进行训练，所述剪枝指标用于表示所述各个通道在所述每个卷积层中的重要程度；确定所述目标学习分支的压缩率，并依据所述压缩率和所述每个卷积层对应的所述剪枝指标顺序确定所述目标学习分支的通道掩码数据，其中，所述压缩率用于确定所述每个卷积层中选择的通道数量；依据所述通道掩码数据，对所述目标学习分支的第一模型参数进行通道掩码运算，得到第二模型参数，其中，所述第二模型参数为剪枝后的所述目标学习分支的模型参数。2.根据权利要求1所述的联邦学习模型剪枝方法，其特征在于，所述确定目标学习分支中的每个卷积层中各个通道对应的剪枝指标的步骤包括：在本地存储的数据集中随机选择部分数据，得到第一训练数据集；将所述第一训练数据集输入到所述目标学习分支中，并记录所述目标学习分支中的各个卷积层对应的特征图；计算所述每个卷积层中各个通道的通道方向上的所述特征图的绝对值，得到第一目标统计矩阵，并计算所述每个卷积层中各个通道的通道方向上的所述特征图在缺少目标通道的情况下的绝对值，得到第二目标统计矩阵，其中，所述目标通道为所述通道方向对应的通道；对所述第一目标统计矩阵和所述第二目标统计矩阵进行二范数归一化后作差，得到所述各个通道对应的所述剪枝指标。3.根据权利要求1所述的联邦学习模型剪枝方法，其特征在于，所述确定所述目标学习分支的压缩率，并依据所述压缩率和所述每个卷积层对应的所述剪枝指标顺序得到所述目标学习分支的通道掩码数据的步骤包括：依据所述压缩率和所述每个卷积层对应的所述剪枝指标顺序对所述每个卷积层中的通道进行筛选，得到筛选结果，其中，所述压缩率用于确定筛选后的所述通道的数量；依据所述筛选结果和所述剪枝指标顺序，得到所述通道掩码数据。4.根据权利要求3所述的联邦学习模型剪枝方法，其特征在于，所述依据所述压缩率和所述每个卷积层对应的所述剪枝指标顺序对所述每个卷积层中的通道进行筛选，得到筛选结果的步骤包括：第一步，采用均匀剪枝策略和所述压缩率生成初始解，并将所述初始解作为当前解，以及确定初始衰减步长，并将所述初始衰减步长作为当前衰减步长，其中，所述初始解中包括在采用均匀剪枝策略下所述每个卷积层中保留的通道数量；第二步，依据所述当前解和所述剪枝指标顺序，确定所述每个卷积层中的各个通道对应的通道掩码值，其中，所述每个卷积层中的各个通道对应的通道掩码值为第一掩码数据；第三步，将所述第一掩码数据和第二训练数据集输入到所述目标学习分支中，并计算所述目标学习分支的第一损失值，其中，所述第二训练数据集是在本地存储的数据集中随机选择得到的数据集；第四步，依据所述当前解和所述衰减步长，确定局部邻域解；
第五步，依据所述局部邻域解和所述剪枝指标排序得到第二掩码数据，并将所述第二训练数据集和所述第二掩码数据输入到所述目标学习分支中，并计算所述目标学习分支的第二损失值，其中，每个所述局部邻域解均对应一个第二掩码数据；第六步，在存在所述第二损失值小于所述第一损失值的情况下，确定目标邻域解，并将所述目标邻域解作为所述当前解，跳转到第二步，其中，所述目标邻域解为对应的所述第二损失值最小的所述局部邻域解；第七步，令所述当前衰减步长等于...

【专利技术属性】
技术研发人员：金键，曾西平，袁彤彤，
申请(专利权)人：北京泰尔英福科技有限公司，
类型：发明
国别省市：